導(dǎo)讀
細(xì)數(shù)2023年的新技術(shù),生成式AI和AI聊天機(jī)器人不可忽視。其背后的大模型,更是令人瘋狂。尤其是在OpenAI發(fā)布ChatGPT之后,大公司、小公司和開源社區(qū)更是爭先恐后的推出自己的大模型。
據(jù)統(tǒng)計,到目前為止,全球已經(jīng)發(fā)布了數(shù)百個大模型。但是,哪些是最有能力的?哪些是最受業(yè)界關(guān)注的?請關(guān)注筆者列出的《2023年全球最佳大模型》。
1. GPT-4
OpenAI的GPT-4模型是2023年最好的AI大模型,沒有之一。GPT-4模型于2023年3月發(fā)布,展示了其強(qiáng)大的能力,包括復(fù)雜的推理能力、高級編碼能力、多種學(xué)術(shù)學(xué)習(xí)能力、可媲美人類水平表現(xiàn)的能力等。
事實上,它是第一個可以同時接受文本和圖像作為輸入的多模態(tài)模型。雖然ChatGPT還沒有添加多模式功能,但一些用戶已經(jīng)通過由GPT-4模型提供支持的Bing Chat獲得了訪問權(quán)限。
與ChatGPT-3.5相比,GPT-4模型在幾個類別的實際評估中得分接近80%。OpenAI還通過使用來自人類反饋的強(qiáng)化學(xué)習(xí)(RLHF)與領(lǐng)域?qū)<疫M(jìn)行對抗性測試,竭盡全力使GPT-4模型更符合人類價值觀。
GPT-4模型已經(jīng)在超過1萬億個參數(shù)上進(jìn)行了訓(xùn)練,支持32768個令牌的最大上下文長度。到目前為止,我們還沒有太多關(guān)于GPT-4內(nèi)部架構(gòu)的信息,但最近的報道透露,GPT-4是一個混合模型,由8個不同的模型組成,每個模型都有2200億個參數(shù)。
最后,您可以使用ChatGPT插件,并使用帶有GPT-4模型的Bing瀏覽網(wǎng)頁。唯一的缺點是它的響應(yīng)速度很慢,計算時間要長得多,這迫使開發(fā)人員使用較舊的GPT-3.5模型??傮w來說,OpenAI GPT-4模型是2023年迄今為止你能使用的最好的大模型。
2.PaLM 2 (Bison-001)
接下來是來自谷歌的PaLM 2 AI模型,它也是2023年最好的大型語言模型之一。Google在PaLM 2模型上專注于常識推理、形式邏輯、數(shù)學(xué)和20多種語言的高級編碼。據(jù)說,最大的PaLM 2模型已經(jīng)在5400億個參數(shù)上進(jìn)行了訓(xùn)練,最大上下文長度為4096個令牌。
谷歌公布了四款基于PaLM 2的不同版本的大模型,即Gecko、Otter、Bison、Unicorn。其中,Bison目前可用,它在MT-Bench測試中得分為6.40分,而GPT-4得分高達(dá)8.99分。
然而,在WinoGrande、StrategyQA、XCOPA等推理評估和其他測試中,PaLM 2表現(xiàn)出色,優(yōu)于GPT-4。它也是一個多語言模型,可以理解不同語言的習(xí)語、謎語和細(xì)致入微的文本。這是其他大模型難以解決的問題。
PaLM 2的另一個優(yōu)點是它的響應(yīng)速度非???,可以同時提供三個響應(yīng)。您可以在谷歌的Vertex AI平臺上測試PaLM 2(Bison-001)模型,也可以使用運行在PaLM2上的GoogleBard。
3. Claude v1
也許你還不知道,Claude是一個強(qiáng)大的大模型,由谷歌支持的Anthropic開發(fā)。它是由前OpenAI員工共同創(chuàng)立的,其方法是構(gòu)建有用、誠實和無害的人工智能助手。在多個基準(zhǔn)測試中,Anthropic的Claude v1和Claude Instant模型顯示出了巨大的前景。事實上,Claude v1在MMLU和MT-Bench測試中的表現(xiàn)要好于PaLM 2。
它接近于GPT-4,在MT-Bench測試中得分為7.94,而GPT-4得分為8.99。在MMLU基準(zhǔn)測試中,Claude v1獲得75.6分,GPT-4獲得86.4分。Anthropic也成為第一家在其Claude-instant-100k模型中提供10萬代幣作為最大上下文窗口的公司。你基本上可以在一個窗口中加載近75000個單詞。這太瘋狂了,對吧?
4. Cohere
Cohere是一家人工智能初創(chuàng)公司,由曾在谷歌大腦團(tuán)隊工作的前谷歌員工創(chuàng)立。它的聯(lián)合創(chuàng)始人之一Aidan Gomez參與了Transformer架構(gòu)的“Attention is all you Need”論文的撰寫。與其他AI公司不同,Cohere為企業(yè)服務(wù),并為企業(yè)解決生成式AI用例。Coherence有很多模型,從小到大,從只有6B個參數(shù)到訓(xùn)練了52B個參數(shù)的大模型。
他們最近推出的模型——Cohere Command以其準(zhǔn)確性和穩(wěn)定性贏得了贊譽(yù)。根據(jù)斯坦福HELM的說法,Cohere Command模型的準(zhǔn)確性在同行中得分最高。除此之外,Spotify、Jasper、HyperWrite等公司都在使用Cohere的模型來提供人工智能體驗。
在定價方面,Cohere每產(chǎn)生100萬個代幣收費15美元,而OpenAI對同樣數(shù)量的代幣收費4美元。然而,就準(zhǔn)確性而言,它比其他大模型要好。因此,如果你在經(jīng)營一家企業(yè),并且正在尋找最好的大模型整合到你的產(chǎn)品中,你可以看看Cohere。
5. Falcon
Falcon是這個列表上的第一個開源大模型,它的排名超過了迄今為止發(fā)布的所有開源模型,包括LLaMA、StableLM、MPT等等。它是由阿聯(lián)酋技術(shù)創(chuàng)新研究所開發(fā)的。關(guān)于Falcon最好的一點是,它已經(jīng)使用Apache 2.0許可證開源,這意味著您可以將該模型用于商業(yè)目的,也沒有版稅或限制。
到目前為止,阿聯(lián)酋技術(shù)創(chuàng)新研究所已經(jīng)發(fā)布了兩種Falcon模型,分別接受了40B和7B參數(shù)的訓(xùn)練。開發(fā)人員建議,這些都是原始模型,如果你想用它們聊天,你應(yīng)該選擇Falcon-40B-Instruct模型,它針對大多數(shù)用例進(jìn)行了微調(diào)。
Falcon模型主要訓(xùn)練英語、德語、西班牙語和法語,但它也可以用意大利語、葡萄牙語、波蘭語、荷蘭語、羅馬尼亞語、捷克語和瑞典語工作。所以,如果你對開源人工智能模型感興趣,首先看看Falcon。
6. LLaMA
自從LLaMA模型在網(wǎng)上泄露后,Meta就開始全力投入開源。它正式發(fā)布了各種類型的LLaMA模型,從70億個參數(shù)到650億個參數(shù)。Meta表示,其LLaMA-13B模型優(yōu)于OpenAI的GPT-3模型,該模型已在1750億個參數(shù)上進(jìn)行了訓(xùn)練。許多開發(fā)人員正在使用LLaMA進(jìn)行微調(diào)并創(chuàng)建一些最好的開源模型。話雖如此,但請記住,LLaMA僅用于研究,不能用于商業(yè)用途。
談到LLaMA 65B模型,它在大多數(shù)用例中都顯示出了驚人的能力。它在Open LLM排行榜上名列前十。Meta表示,它沒有進(jìn)行任何專有訓(xùn)練。相反,該公司使用了來自CommonCrawl、C4、GitHub、ArXiv、維基百科、StackExchange等網(wǎng)站的公開數(shù)據(jù)。
簡單地說,在Meta發(fā)布LLaMA模型后,開源社區(qū)看到了快速的創(chuàng)新,并提出了用新的技術(shù)來創(chuàng)造更小、更高效的模型。
7. Guanaco-65B
在幾個LLaMA衍生的模型中,Guanaco-65B被證明是最好的開源大模型,僅次于Falcon模型。在MMLU測試中,它的得分為52.7,而Falcon模型的得分為54.1。同樣,在TruthfulQA評估中,Guanaco的得分為51.3,F(xiàn)alcon的得分更高,為52.5。Guanaco有四種類型:7B、13B、33B和65B型號。Tim Dettmers和其他研究人員在OASST1數(shù)據(jù)集上對所有模型進(jìn)行了微調(diào)。
至于Guanaco是如何微調(diào)的,研究人員提出了一種名為QLoRA的新技術(shù),該技術(shù)可以有效地減少內(nèi)存使用,同時保持完整的16位任務(wù)性能。在維庫納基準(zhǔn)上,Guanaco-65B模型甚至以更小的參數(shù)優(yōu)于GPT-3.5模型。
最棒的是,65B模型在短短24小時內(nèi)就在一個擁有48GB VRAM的GPU上進(jìn)行了訓(xùn)練。這表明開源模型在降低成本和保持質(zhì)量方面已經(jīng)取得了長足的進(jìn)步。總之,如果你想嘗試離線的本地大模型,你絕對可以相信Guanaco。
8. Vicuna 33B
Vicuna是LMSYS開發(fā)的另一個強(qiáng)大的開源大模型。與許多其他開源模型一樣,它也是從LLaMA衍生而來的。它使用監(jiān)督指導(dǎo)進(jìn)行了微調(diào),訓(xùn)練數(shù)據(jù)是從sharegpt.com網(wǎng)站上收集的。這是一個自回歸的大模型,基于330億個參數(shù)進(jìn)行訓(xùn)練。
在LMSYS自己的MT Bench測試中,它得了7.12分,而最好的專有型號GPT-4得了8.99分。在MMLU測試中,它也獲得了59.2分,GPT-4獲得了86.4分。盡管它是一個小得多的模型,Vicuna的表現(xiàn)仍然突出。
9. MPT-30B
MPT-30B是另一個與LLaMA衍生模型競爭的開源大模型。它是由Mosaic ML開發(fā)的,并對來自不同來源的大量數(shù)據(jù)進(jìn)行了微調(diào)。它使用來自ShareGPT Vicuna、Camel AI、GPTeacher、Guanaco、Baize和其他的數(shù)據(jù)集。這個開源模型最棒的部分是它有8K令牌的上下文長度。
此外,它優(yōu)于OpenAI的GPT-3模型,在LMSYS的MT-Bench測試中得分為6.39。如果您正在尋找一個小模型在本地運行,MPT-30B模型是一個很好的選擇。
10 . 30B-Lazarus
30B-Lazarus模型是由CalderaAI開發(fā)的,它使用LLaMA作為其基礎(chǔ)模型。開發(fā)人員使用了來自多個模型的經(jīng)過lora調(diào)優(yōu)的數(shù)據(jù)集,包括Manticore、SuperCOT-LoRA、SuperHOT、GPT-4 Alpaca-LoRA等。因此,該模型在許多LLM基準(zhǔn)測試中表現(xiàn)得更好。它在HellaSwag的得分為81.7,在MMLU的得分為45.2。
如果您的用例主要是文本生成而不是會話聊天,那么30B Lazarus模型可能是一個不錯的選擇。
聯(lián)系客服