前面提到說用通義千問讀取Fluent UDF文檔，然后輔助我們進(jìn)行UFD代碼編寫。后臺有小伙伴說不讀文檔也能寫，但我覺得這牛皮點(diǎn)兒吹過頭了。就我個人的體驗，目前除了GPT-4之外，很少有大模型能夠一次性直接寫出正確的UDF代碼（Claude 2有時候能寫對，但大多數(shù)寫錯，Claude 3目前還未嘗試），國內(nèi)大模型更是如此。下面來簡單測試一下。
我們以最簡單的需求進(jìn)行嘗試。比如寫一個隨時間變化的速度入口邊界條件。以下測試全部使用統(tǒng)一的提示詞：
利用Fluent UDF寫一個隨時間變化的速度入口。
”
1、Copilot
微軟Copilot本身使用的是GPT-4。
如圖所示，Copilot給出了正確的示例。
2、GPT-4
這里使用Coze提供的GPT-4(8K)模型。
可以看到GPT-4給出了正確的示例。
3、Claude 3
這里使用lmsys提供的claude 3。
從圖中可以看出，Claude 3的sonnet與opus版本都能給出了正確的示例。而且opus版本的答案解釋得極為詳細(xì)。
4、Gemini 1.0
由于目前我這里只能使用Gemini 1.0，所以只能先看看Gemini 1.0的效果了。
完全是胡言亂語。由于無法使用最新版的Gemini 1.5，所以無從得知最新版的效果如何。
下面來看看國內(nèi)的大模型。
5、通義千問
下面是通義千問。
完全不忍直視，通義千問似乎不知道啥叫Fluent UDF。這下道友們知道為啥要讀入Fluent UDF文檔之后再問了吧。
6、智譜清言
來看看智譜清言。
最新版GLM-4給出了正確示例，表現(xiàn)還不錯。順手試了一下GLM-3則不行。
7、訊飛星火
星火前陣子才更新了3.5版本，來看看表現(xiàn)如何。
星火裝出一副很懂的樣子，但其實是不懂裝懂。
8、Kimi
來看看最近廣告打的挺響的kimi。
寫了一堆屎山代碼，完全是在胡言亂語。
9、文心一言
文心4.0要交錢，對于這種低頻使用，而且還有大量免費(fèi)可替代產(chǎn)品的工具，實在打不起充值的興趣，現(xiàn)在只能使用3.5版本。
這個3.5版本給出的示例是正確的。我突然又想氪金試試4.0版本了。
10、讀了UDF文檔后的通義千問
不是其他的模型不想讀，奈何實力不允許啊。目前除了通義千問外，其他模型都無法一次性讀入Fluent UDF文檔并完成解析。其中kimi可以讀入，但解析不了（提示文件長度超標(biāo)），其他模型都無法讀入。
雖然代碼不太優(yōu)雅，但給出的示例是正確的。
這就是為什么要讓大模型讀文檔的原因了。這就好比考試一樣，學(xué)霸閉卷就能考不錯的分?jǐn)?shù)，學(xué)渣開卷翻書也湊合著考個及格吧。希望國內(nèi)的大模型也能越來越聰明，有朝一日也能閉卷考個不錯的成績。
注：以上只是簡單的測試，實際上對于復(fù)雜的問題，任何AI大模型都難以解決，還是得靠人腦來掌舵。不過到目前為止，微軟Copilot還是比較穩(wěn)的，無論是從訪問方便性還是輸出穩(wěn)定性上。
”
（完）
聯(lián)系客服
