新智元報(bào)道
就在剛剛，根據(jù)The Information的最新爆料，OpenAI即將發(fā)布一款全新的開源大語言模型。
雖然目前還不清楚，OpenAI是不是打算利用即將開源的模型，來搶占Vicuna或其他開源模型的市場份額。
但幾乎可以肯定的是，新模型的能力大概率無法與GPT-4甚至GPT-3.5相競爭。
畢竟，270億美元的估值也決定了，OpenAI最先進(jìn)的模型將會被用于商業(yè)目的，盡管前兩個(gè)版本的GPT都是開源的。
對此，OpenAI的發(fā)言人沒有回應(yīng)置評請求。
羊駝家族開源大爆發(fā)
的確，在這次軍備競賽中，谷歌和OpenAI似乎都不是贏家，因?yàn)殚_源社區(qū)正在吃掉屬于它們的「利益」。
ChatGPT一出，引爆了全球的LLM革命。然而，OpenAI不Open，很多公司和開發(fā)者只能看著干著急。
此時(shí)，Meta站出來發(fā)布了LLaMA，為全世界開發(fā)者謀了一把福利。
本來呢，Meta承諾的是LLaMA會對非商用的研究用例開源，可是誰能想到，僅在發(fā)布一周后，LLaMA的權(quán)重忽然在4chan上泄漏了，瞬間就引發(fā)了數(shù)千次下載。
這場「史詩級泄漏」，直接讓開源LLM領(lǐng)域變了天。短短幾周內(nèi)，各種ChatGPT平替就以迅雷不及掩耳之勢呈爆炸式增長。
Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……簡直堪稱是「羊駝家族」大爆炸。
其實(shí)，早在羊駝之前，開源模型就曾破滅過OpenAI的野心。
當(dāng)時(shí)，剛剛發(fā)布的Dall-E 2憑借著驚艷的文生圖效果，在網(wǎng)上引起了不小的轟動。
然而，當(dāng)OpenAI還在試圖兜售API時(shí)，一款開源替代突然橫空出世——Stable Diffusion。
隨著Stable Diffusion的迅速崛起，Dall-E 2也很快就被開發(fā)者們拋在了腦后。
開源大模型，要顛覆硅谷大廠？
為了提高Vicuna的能力，Stoica和同事們正在努力增加模型中的計(jì)算數(shù)量，這將有助于處理涉及推理的任務(wù)，比如寫代碼。
開發(fā)Vicuna的是一個(gè)伯克利的團(tuán)隊(duì)，每年的預(yù)算為數(shù)百萬美元，其中大約50萬美元來自包括微軟、谷歌和亞馬遜在內(nèi)的上市公司。
UC Berkeley的計(jì)算機(jī)教授Ion Stoica表示，現(xiàn)在的免費(fèi)AI模型，在性能上已經(jīng)「相當(dāng)接近」谷歌和OpenAI的專有模型了，毫無疑問，大多數(shù)開發(fā)者最終都會選擇免費(fèi)模型。
一方面，開源模型可以讓開發(fā)者使用自己的數(shù)據(jù)來解決特定的問題。
另一方面，像Vicuna這種模型的訓(xùn)練成本甚至可以低至幾百美元，而且還不用向大廠支付昂貴的使用費(fèi)。
如果Stoica的看法正確，開源AI必將顛覆谷歌、OpenAI、微軟等出售專有模型使用權(quán)的大廠的商業(yè)計(jì)劃。
Vicuna的質(zhì)量和開源AI的寒武紀(jì)大爆發(fā)，讓谷歌工程師Luke Sernau警告同事，谷歌在努力追趕OpenAI時(shí)，太過關(guān)注專有軟件了。
如果免費(fèi)、高質(zhì)量的平替沒有使用限制，誰會去付費(fèi)使用帶有條條框框的谷歌產(chǎn)品呢？開源AI的發(fā)展正在超越我們，谷歌應(yīng)該在開源社區(qū)中建立自己的領(lǐng)導(dǎo)地位，并放棄對我們模型的部分控制。
這份備忘錄迅速在整個(gè)行業(yè)內(nèi)引起了共鳴——即使Sernau或許高估了開源AI的能力，低估了它們的成本和風(fēng)險(xiǎn)，但大多數(shù)從業(yè)者都同意，Meta非常有可能從中獲益。
比如，Meta在內(nèi)部會使用AI模型進(jìn)行內(nèi)容推薦和廣告定位，當(dāng)開發(fā)者改進(jìn)Meta的模型時(shí)，Meta就可以把這些改進(jìn)納入自己內(nèi)部的AI。
Meta CEO小扎對此籌謀已久。
4月，在他與分析師的一次電話會議中，他曾這樣談到公司的策略——
如果行業(yè)能夠在我們使用的基礎(chǔ)工具上達(dá)成標(biāo)準(zhǔn)化，那么我們就能從其他人的改進(jìn)中受益，這樣會更好。
谷歌倒是沒有完全采用專有的方式來處理AI軟件。
早在2020年，谷歌就發(fā)布了一個(gè)開源語言模型T5，讓開發(fā)者可以構(gòu)建能夠執(zhí)行翻譯和摘要任務(wù)的軟件。隨后，谷歌又發(fā)布了一個(gè)更先進(jìn)的Flan-T5。
但是，根據(jù)Stoica和其他從業(yè)者的說法，Meta發(fā)布的軟件能夠在谷歌模型的基礎(chǔ)上做出顯著改進(jìn)，這讓開發(fā)者選擇Meta模型的可能性大大增加了。
不過，Stoica表示，谷歌在開源軟件方面仍有兩個(gè)優(yōu)勢。
1. 如果谷歌利用其不向外部開放的用戶數(shù)據(jù)，模型在某些專業(yè)領(lǐng)域（如內(nèi)容推薦）的表現(xiàn)可能會更好。
不過，谷歌發(fā)言人表示，公司并沒有在現(xiàn)有用戶數(shù)據(jù)上訓(xùn)練其基礎(chǔ)模型。
2. 搜索公司在管理大規(guī)模計(jì)算機(jī)基礎(chǔ)設(shè)施方面的專長，意味著它能夠以更低的成本來運(yùn)行模型，包括為云客戶提供服務(wù)。
與此同時(shí)，OpenAI在收集數(shù)百萬人與ChatGPT互動方式的數(shù)據(jù)上，已經(jīng)搶得了先機(jī)，這會更有助于OpenAI改進(jìn)AI軟件，更不用提它和微軟的合作協(xié)議。
開源的繁榮，是大廠的「施舍」？
不過，這種建立在開源基礎(chǔ)上的繁榮，是不穩(wěn)定的。
目前大多數(shù)的開源，仍然依賴于資金雄厚的大公司發(fā)布的巨型模型。如果OpenAI和Meta決定關(guān)閉業(yè)務(wù)，繁榮的開源社區(qū)，可能就會變得蕭條。
比如，現(xiàn)在許多開源平替是基于Meta的LLaMA構(gòu)建的。
而其他模型使用的是名為Pile的大型公共數(shù)據(jù)集，由開源非營利組織EleutherAI整理。
EleutherAI之所以存在，是因?yàn)镺penAI的開放性意味著一群開發(fā)者能夠逆向了解GPT-3是如何制作的，然后在空閑時(shí)間里創(chuàng)建自己的模型。
但一切都可能改變。
OpenAI已經(jīng)不再Open，Meta也在考慮限制開源，防止初創(chuàng)公司利用開源代碼做壞事。
Meta AI的執(zhí)行董事Joelle Pineau表示，現(xiàn)在向外部人員開放代碼是正確，但他并不確定，在未來五年內(nèi)Meta還會采用相同的策略。
如果這種Close的趨勢繼續(xù)下去，那么不僅開源社區(qū)會被拋棄，下一代的AI突破也會重新回到那些最大、最不差錢的AI實(shí)驗(yàn)室手中。
顯然，AI大模型的制造和使用方式的未來，正處于一個(gè)十字路口。
其他人也在權(quán)衡，這種開源的自由競爭帶來的回報(bào)更大，還是風(fēng)險(xiǎn)更大。
就在Meta AI發(fā)布LLaMA的同時(shí)，Hugging Face推出了一個(gè)門禁機(jī)制，下載平臺上的模型之前，用戶必須申請?jiān)L問并獲得批準(zhǔn)，這是為了限制那些有合法理由的人。
「我并不是一個(gè)開源的布道者，」Hugging Face的首席倫理科學(xué)家Margaret Mitchell說?！肝夷芸吹讲婚_源的意義。」
大模型廣泛使用的一個(gè)弊端，就是可能造成AI色情產(chǎn)品的泛濫。
Mitchell曾在谷歌工作，并創(chuàng)立了AI道德團(tuán)隊(duì)，她對于模型被濫用的風(fēng)險(xiǎn)十分了解。因此，她贊成Meta AI以有控制的方式發(fā)布模型。
同時(shí)，OpenAI也在關(guān)閉水龍頭。GPT-4發(fā)布時(shí)，并沒有公布架構(gòu)（包括模型大小）、硬件、訓(xùn)練計(jì)算、數(shù)據(jù)集構(gòu)建、訓(xùn)練方法等細(xì)節(jié)，理由是「鑒于像GPT-4這樣的大規(guī)模模型的競爭格局和安全影響」。
這種限制反應(yīng)了OpenAI心態(tài)上的變化。聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever表示，OpenAI過去的開放性是一個(gè)錯(cuò)誤。
OpenAI的政策研究員Sandhini Agarwal說：「以前，如果某樣?xùn)|西是開源的，也許一小群修理工會關(guān)心。但現(xiàn)在，整個(gè)環(huán)境已經(jīng)改變。開源真的可以加速發(fā)展，導(dǎo)致競爭?！?/span>
時(shí)間倒回三年前，如果OpenAI在公布GPT-3的細(xì)節(jié)時(shí)，就秉持著同樣的原則，那就不會有EleutherAI的出現(xiàn)，也就不會有蓬勃的開源創(chuàng)新。
今天，EleutherAI在開源生態(tài)系統(tǒng)中發(fā)揮著舉足輕重的作用。Pile被用來訓(xùn)練多個(gè)開源項(xiàng)目，包括Stability AI的StableLM。
但隨著GPT-4、5、6被鎖死，開源社區(qū)可能會再次被落在幾家大公司后面。
他們會困在上一代模型中，如果想取得進(jìn)步，只能閉門造車。
聯(lián)系客服
