AI領域已轉變?yōu)槿蚱髽I(yè)和國家間的競技場。眾多企業(yè)意圖建立各自的大語言模型。例如，沙特阿拉伯購買了逾3000塊H100芯片來培養(yǎng)其語言模型。這種現(xiàn)象引起了業(yè)內(nèi)人士的思考，無論是互聯(lián)網(wǎng)初創(chuàng)時期還是今日的AI環(huán)境，有市場機會的地方必有競爭。隨著眾多競爭者的進入，AI競技場更加激烈。
Transformer引領AI新紀元
在2017年，8位谷歌的計算機科學家發(fā)布了一篇名為《Attention Is All You Need》的研究論文，標志著Transformer算法的誕生。此篇成果蜚聲AI界，為后續(xù)的AI浪潮鋪路。
以往，機器閱讀長篇文字存在巨大挑戰(zhàn)，不同于圖像識別，人類閱讀需要考慮上下文關系理解。
在初始的神經(jīng)網(wǎng)絡處理文本時每個輸入是獨立的，容易出現(xiàn)誤譯。直到2014年，計算機科學家伊利亞（Ilya Sutskever）采用RNN（循環(huán)神經(jīng)網(wǎng)絡）改進了文本處理效果，推動了谷歌翻譯技術的飛躍。
RNN提出了“循環(huán)設計”，讓每個神經(jīng)元既接受當前時刻輸入信息，也接受上一時刻的輸入信息，進而使神經(jīng)網(wǎng)絡具備了“結合上下文”的能力。
循環(huán)神經(jīng)網(wǎng)絡，出自知乎《循環(huán)神經(jīng)網(wǎng)絡RNN——深度學習第十章》
傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡（RNN）采用順序計算，雖然它能夠考慮上下文信息，但其計算效率并不高，且難以處理大量參數(shù)。于是，沙澤爾（Noam Shazeer）和他的團隊從2015年開始致力于開發(fā)RNN的替代產(chǎn)品。他們的努力結晶即為Transformer。與RNN相比，Transformer帶來了兩大創(chuàng)新：并行計算的位置編碼機制，以及加強的上下文處理能力。
Transformer的成功逐漸成為了自然語言處理（NLP）領域的主流算法。即便是一度為RNN做出貢獻的計算機科學家伊利亞（Ilya Sutskever）也轉向了Transformer。此后，Transformer成為了大模型研發(fā)中的核心技術。
灰色的樹根為Transformer，圖片參考論文地址：https://arxiv.org/abs/2304.13712
隨著Transformer的普及，AI研究焦點轉向數(shù)據(jù)工程和模型架構。幾乎所有技術先進的公司都開始開發(fā)自己的大模型。Semi Analysis預測，OpenAI的技術一旦被開源。其他大型科技公司也很快就能夠復制其成功。
大模型競逐，開源生態(tài)興起
當前，大模型發(fā)展呈現(xiàn)白熱化趨勢。最新數(shù)據(jù)顯示，截止今年7月，國內(nèi)大模型總數(shù)已超過美國。各國都在積極研發(fā)，如印度的Bhashini和韓國Naver的HyperClova X。
大模型如今被視為工程問題而非科學難題。隨著Transformer算法的發(fā)展，只要有足夠的資金和計算資源，理論上任何機構都可研發(fā)出自己的大模型。但僅有大模型，并不意味著能躋身AI領域的巨頭。例如，盡管Falcon模型在某些排名中領先于其他模型，其對于Meta的市場沖擊實際上有限。
企業(yè)的開源策略旨在分享技術成果，同時也希望獲得社區(qū)的貢獻?；钴S的開發(fā)者社區(qū)已成為開源大模型的核心競爭力。作為例證，Meta公司自2015年以開源為主基調(diào)，并經(jīng)常舉辦相關活動鼓勵開發(fā)者使用和改進其Llama系列模型。據(jù)統(tǒng)計，目前Hugging face平臺上使用Llama 2開源協(xié)議的LLM已經(jīng)超過了1500個。
圖片參考網(wǎng)址：https://huggingface.co/Riiid/sheep-duck-llama-2
盡管大模型如雨后春筍般涌現(xiàn)，但在性能上，多數(shù)模型與OpenAI的GPT-4存在顯著差距。近期AgentBench測試顯示，GPT-4以4.41分位列首位，而第二名的Claude得分為2.77分。很多聲名狹聞的開源LLM的測試成績僅為GPT-4的1/4左右。這種差距主要歸因于OpenAI擁有高質(zhì)量的研究團隊和長期的研究經(jīng)驗。換言之，大模型的真正競爭力并非只在于其參數(shù)規(guī)模，而在于其背后的開源生態(tài)建設與出色的推理性能（閉源模型）
AgentBench測試結果，出自《AgentBench: Evaluating LLMs as Agents》論文
預期隨著開源社區(qū)的活躍化，大模型的性能可能會逐漸趨同。但目前，除少數(shù)如Midjourney外，大模型盈利的困難仍是一個現(xiàn)實問題。
AI行業(yè)成本失衡，大模型供應商前路難
近日，一篇關于“OpenAI可能在2024年底破產(chǎn)”的文章引起了公眾的熱議。文章指出，OpenAI在發(fā)展ChatGPT之后的虧損速度呈現(xiàn)明顯上升。2022年，該公司虧損達到5.4億美元，期望微軟等投資者為其買單。此新聞反映了大模型提供商所面臨的核心問題：成本與收益的巨大失衡。
高AI運營成本讓多數(shù)公司難盈利，僅英偉達、博通等為例外。Omdia數(shù)據(jù)顯示，盡管英偉達二季度銷售了30萬塊H100芯片且市場熱需，但AI投資遠超收入，存在1250億美元缺口。即便行業(yè)巨頭微軟和Adobe也承受壓力：微軟的AI編程工具GitHub Copilot由于高額的運行成本，每月要倒貼每個用戶20美元至80美元；此外，Adobe也同樣如此，因此Adobe推出積分制度，對超額使用的Firefly AI用戶限速。
雖然大模型如ChatGPT推進了AI革命，其真實價值仍受質(zhì)疑。面對同質(zhì)競爭和眾多開源模型，大模型供應商將遭遇更大考驗。
關于企元大數(shù)據(jù)
廣州企元大數(shù)據(jù)科技有限公司，專注于人工智能企業(yè)應用，為企業(yè)提供內(nèi)部專屬的人工智能模型開發(fā)、生成式AI開發(fā)以及全面的人工智能咨詢服務。我們的產(chǎn)品 AIW全智通，憑借其獨特的認知引擎，不僅為中小企業(yè)提供了經(jīng)濟、定制化的AI解決方案，還確保了其輸出的可管理性與準確性，完全滿足企業(yè)的業(yè)務策略和道德規(guī)范。AIW開發(fā)底座版（AI PaaS），利用核心的封裝式AI模塊化技術，為企業(yè)提供了與現(xiàn)有業(yè)務系統(tǒng)兼容的AI增強解決方案。它的模塊化和標準化設計，以及為企業(yè)現(xiàn)有系統(tǒng)增加AI功能的能力，都使得企業(yè)可以低成本、高效率地進行數(shù)字化升級。
關于匯思人機資本
匯思軟件（上海）有限公司（簡稱：Cyberwisdom Group）是一家領先的企業(yè)級人工智能、數(shù)字學習解決方案和人才持續(xù)專業(yè)發(fā)展管理提供商，基于一套平臺、內(nèi)容、技術和方法論構建，我們的服務包括學習管理系統(tǒng)（LMS）、企業(yè)人工智能管理平臺、企業(yè)Metaverse設計、定制課件設計、現(xiàn)成的電子學習內(nèi)容和數(shù)字化勞動力業(yè)務流程外包管理。
匯思在香港、廣州、深圳、上海、北京、中山、新加坡和吉隆坡均設有分支機構，匯思超過200人強大研發(fā)團隊，擁有自主研發(fā)的一系列企業(yè)級人才發(fā)展學習方案，包括wizBank7.0學習管理系統(tǒng)以及企業(yè)全棧人工智能管理平臺 TalentBot AI PAAS 2.0。作為領先的企業(yè)人工智能及人機發(fā)展解決方案供應商，匯思不僅提供平臺技術，并且擁有亞太地區(qū)龐大的定制課程設計開發(fā)團隊，超過2000門自主版權的通用課件，游戲化學習，學習支持與推廣服務等。
匯思深度企業(yè)人工智能咨詢 Deep Enterprise AI Consulting基于多年來的”人機發(fā)展“的成熟經(jīng)驗，深厚技術和影響力，團隊的定位是給予”企業(yè)人機學習及發(fā)展無限的可能性。”
聯(lián)系客服
