近期各行各業(yè)已進(jìn)入言必談 ChatGPT 的階段，大家津津樂(lè)道于 ChatGPT 的各種應(yīng)用場(chǎng)景，比如怎么在自己的學(xué)習(xí)或工作中應(yīng)用，提升效率。就連怎么跟 ChatGPT 提問(wèn)對(duì)話，都發(fā)展出一門名為 Prompt Engineering 的新學(xué)科分支。

要最大程度地發(fā)揮 ChatGPT 的價(jià)值，就得對(duì)它的原理有一定的了解，這樣就能知道它最適用的場(chǎng)景、目前的能力邊界等。今天我就用大白話的方式，給大家分享下近期對(duì)它的研究和理解。

ChatGPT 和 GPT 是什么關(guān)系？

簡(jiǎn)單講，ChatGPT 是一個(gè)產(chǎn)品，GPT 是一個(gè) AI 領(lǐng)域的大語(yǔ)言模型（Large Language Model，簡(jiǎn)稱 LLM）。

ChatGPT 提供了自然語(yǔ)言對(duì)話（Chat）的方式，與這個(gè)大模型進(jìn)行交互，得到用戶想要的答案。

而大語(yǔ)言模型，你只需要記住它是一種可以對(duì)自然語(yǔ)言（也就是平時(shí)我們說(shuō)的各種語(yǔ)言，如中文、英文、日文等）進(jìn)行處理的程序，它最厲害的地方在于能夠基于前面給定的文字，預(yù)測(cè)接下來(lái)可能出現(xiàn)的文本內(nèi)容。

比如平時(shí)你用手機(jī)輸入法打字或百度搜索，輸入“明天天氣”，系統(tǒng)就會(huì)提示“明天天氣怎么樣”，就運(yùn)用了類似的技術(shù)。只不過(guò)這里的大語(yǔ)言模型，它用來(lái)學(xué)習(xí)和訓(xùn)練的數(shù)據(jù)量要大非常多，對(duì)應(yīng)的能預(yù)測(cè)生成的內(nèi)容也多非常多，可以直接生成一整段話甚至一篇文章。

GPT 是什么意思？

GPT 的全稱是生成式預(yù)訓(xùn)練轉(zhuǎn)換器模型（Generative Pre-trained Transformer）。中文的翻譯通常把 Transformer 略過(guò)不譯，但這里的 Transformer 卻恰恰是 GPT 區(qū)別于其它自然語(yǔ)言模型的最顯著的地方。

Transformer，如果你經(jīng)?？措娪?，會(huì)知道它也是「變形金剛」的英文。所以這里的 Transformer 你也可以把它理解為一種「變形轉(zhuǎn)換器」，它可以把你輸入的文字，轉(zhuǎn)變成具備豐富維度信息的數(shù)學(xué)信息，以讓計(jì)算機(jī)更好地理解，這樣也就能輸出與你的預(yù)期匹配度更高的內(nèi)容。

生成式預(yù)訓(xùn)練，則表示這個(gè)模型，除了可以基于輸入自動(dòng)生成內(nèi)容外，它的模型本身是經(jīng)過(guò)提前訓(xùn)練的，而不是實(shí)時(shí)計(jì)算的。舉個(gè)例子，你在考試前，會(huì)做 10 套真題，如果真正考試時(shí)，遇到你做過(guò)的或者類似的題目，你就可以運(yùn)用相同的思路很快得出答案。你這個(gè)備考做真題的過(guò)程，就是「預(yù)訓(xùn)練」。而 GPT 與你備考的不同，則在于它訓(xùn)練的數(shù)據(jù)是海量的互聯(lián)網(wǎng)數(shù)據(jù)。

Transformer 這個(gè)模型為什么厲害？

Transformer 模型是一種神經(jīng)網(wǎng)絡(luò)模型，它可以幫助計(jì)算機(jī)更好地理解語(yǔ)言，比如翻譯句子或者回答問(wèn)題。相比其他一些經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型（如 RNN、CNN），它的效果更好是因?yàn)樗幸环N自注意力機(jī)制（Self-Attention Mechanism）。

這個(gè)自注意力機(jī)制，可以讓模型更好地“注意到”每個(gè)單詞前后的內(nèi)容，避免了「只見(jiàn)樹(shù)木、不見(jiàn)森林」，進(jìn)而提升對(duì)輸入的理解程度，提升輸出的匹配程度。

舉個(gè)例子，假如你正在翻譯一個(gè)句子，傳統(tǒng)的方法是一次只翻譯一個(gè)單詞，但是 Transformer 模型可以一次性看到整個(gè)句子，然后根據(jù)句子中每個(gè)單詞之間的關(guān)系，更好地翻譯整個(gè)句子。這好比你在閱讀一篇故事時(shí)，可以看到整個(gè)故事，更好地理解故事中的情節(jié)。當(dāng)然實(shí)際的模型比這個(gè)要復(fù)雜得多，以上的例子只是為了便于理解。

另外，自注意力機(jī)制支持并行計(jì)算，在長(zhǎng)內(nèi)容、需要分步多次計(jì)算的處理上也很高效，類似于一個(gè)復(fù)雜的任務(wù)，可以更簡(jiǎn)單地分解為多個(gè)子任務(wù)同時(shí)進(jìn)行，所以整體的效率也更高。

GPT 目前發(fā)展到什么階段了？

GPT 的歷史發(fā)展可以追溯到 2018 年，當(dāng)時(shí) OpenAI 發(fā)布了第一版 GPT 模型，它只有 1.17 億個(gè)參數(shù)。后來(lái)，OpenAI 又陸續(xù)發(fā)布了 GPT-2 和 GPT-3 兩個(gè)版本，今年 3 月 14 日，更是開(kāi)始在 ChatGPT Plus 用戶里，小范圍提供 GPT-4 版本。

其中 GPT-3 模型擁有 1750 億個(gè)參數(shù)，而 GPT-4 據(jù)說(shuō)有超過(guò)一萬(wàn)億的參數(shù)，是目前最大的自然語(yǔ)言處理模型之一。

GPT 的不足是什么？

看懂了 GPT 的原理，你也就不難理解它的不足之處了。

1. 耗資源、成本高

GPT 幾個(gè)版本的迭代，越高的版本，參數(shù)量越高，訓(xùn)練數(shù)據(jù)越多，耗費(fèi)的資源（金錢）也越多。比如 GPT-3 的訓(xùn)練成本就高達(dá) 4.6 億美金，而 GPT-4 的具體數(shù)字還沒(méi)有披露，但預(yù)測(cè)在 10 億美金以上。這也意味著，這種能力的大模型，會(huì)控制在少數(shù)大公司或機(jī)構(gòu)手中。

2. 強(qiáng)依賴于訓(xùn)練數(shù)據(jù)，在一些特定領(lǐng)域、常識(shí)方面會(huì)有不足

由于是預(yù)訓(xùn)練的模型，就好比考前做題，如果剛好遇到「沒(méi)做過(guò)的題」，GPT 的弱點(diǎn)就暴露出來(lái)了。

目前 OpenAI 采用的是互聯(lián)網(wǎng)上公開(kāi)的數(shù)據(jù)，在知識(shí)的廣度上，以及大部分知識(shí)的深度上，其實(shí)已經(jīng)超過(guò)大多數(shù)普通人了。對(duì)于一些涉及倫理、種族的內(nèi)容，它也會(huì)結(jié)合人工的方式來(lái)處理和糾偏。但對(duì)于一些常識(shí)的內(nèi)容，它仍然有短板，比如下面的例子。

怎么最大化地用好 ChatGPT？

由于 ChatGPT 底層就是 GPT 模型，它本質(zhì)上是基于你的輸入來(lái)匹配一個(gè)「概率更高」的輸出結(jié)果。因此如果你想要充分發(fā)揮 ChatGPT 的威力，就要盡可能讓模型充分地理解你想要的內(nèi)容，包括問(wèn)題的具體要求、預(yù)期結(jié)果的展現(xiàn)形式等等。這好比找一個(gè)人咨詢問(wèn)題，如果你能更充分、明確地描述你想要的，那么就越容易得到結(jié)果。

這里分享一個(gè)@Rob Lennon 分享的模型，按這幾個(gè)環(huán)節(jié)撰寫(xiě)指令，相信你會(huì)更容易得到想要的結(jié)果。

如果你想更快地抄作業(yè)，還可以參考這個(gè)開(kāi)源庫(kù)的指令示例合集
https://github.com/f/awesome-chatgpt-prompts/blob/main/prompts.csv，里面有大量的例子，相信對(duì)你一定有啟發(fā)。