機器之心編輯部
眼下 OpenAI 面臨的最大問題是「缺芯」。
從 ChatGPT 問世以來，大模型和 AI 技術(shù)就引起全世界的廣泛關(guān)注。一方面，人們驚嘆于大模型的涌現(xiàn)能力，另一方面又對人工智能的可控性及未來發(fā)展產(chǎn)生擔(dān)憂。今年已有包括圖靈獎得主 Geoffrey Hinton、Yoshua Bengio 在內(nèi)的 AI 領(lǐng)域?qū)＜业缺姸鄻I(yè)內(nèi)人士多次聯(lián)合警告 AI 大模型將引發(fā)一系列風(fēng)險，甚至有人呼吁叫停 GPT-4 后續(xù) AI 大模型的研發(fā)。
OpenAI 作為 ChatGPT、GPT-4 等大模型背后的公司，無疑被推上了風(fēng)口浪尖。OpenAI 的 CEO Sam Altman 近期正在全球巡回演講，旨在消除人們對人工智能的「恐懼」，并聽取 OpenAI 產(chǎn)品的開發(fā)人員和用戶的意見。
據(jù)《Fortune》報道，5 月 Sam Altman 與一些開發(fā)人員和初創(chuàng)公司創(chuàng)始人閉門會面，并講述了 OpenAI 的路線圖和面臨的挑戰(zhàn)。這場閉門會的參與者之一 ——Humanloop 的聯(lián)合創(chuàng)始人兼 CEO Raza Habib 最近在一篇博客中提及了 OpenAI 的產(chǎn)品規(guī)劃和發(fā)展瓶頸。
原博客現(xiàn)已刪除，但有網(wǎng)友上傳了博客快照（副本），我們來看一下博客的具體內(nèi)容：
OpenAI 現(xiàn)在面臨的最大問題是受限于 GPU
目前 OpenAI 面臨非常嚴(yán)峻的 GPU 限制，這也延遲了他們一些短期計劃的實施。近來，客戶投訴最多的是關(guān)于 API 的可靠性和速度問題。Sam 承認了這個問題，并解釋說客戶抱怨的大部分問題是由于 GPU 短缺造成的。
在處理文本方面，更長的 32k 上下文還不能面向更多人推出。現(xiàn)在 OpenAI 還沒有完全克服注意力機制的 O (n^2) 擴展問題，雖然 OpenAI 似乎很快就能實現(xiàn) 100k-1M token 上下文窗口（在今年內(nèi)）文本處理，但更大的文本處理窗口需要進一步的研究突破。
不僅如此，目前，微調(diào) API 也受到 GPU 供應(yīng)的限制。OpenAI 尚未使用像 Adapters 或 LoRa 這樣的高效微調(diào)方法，因此微調(diào)運行和管理起來計算都非常密集。Sam 透漏更好的微調(diào)技術(shù)將在未來推出，他們甚至可能提供一個社區(qū)專門研究模型。
此外，專用容量提供也受到 GPU 供應(yīng)的限制。OpenAI 還提供專用容量，為客戶提供一個私有的模型副本。要使用此服務(wù)，客戶必須愿意預(yù)先承諾支出 10 萬美元。
OpenAI 的近期路線圖
在交談中，Sam 分享了 OpenAI API 的近期路線圖，主要分兩個階段：
2023 的路線：
OpenAI 的首要任務(wù)是推出更便宜、更快的 GPT-4—— 總的來說，OpenAI 的目標(biāo)是盡可能地降低智能成本（the cost of intelligence），因此隨著時間的推移，API 的成本將會降低。
更長的上下文窗口 —— 在不久的將來，上下文窗口可能高達 100 萬個 token。
微調(diào) API—— 微調(diào) API 將擴展到最新的模型，但其確切形式將由開發(fā)人員決定。
狀態(tài) API—— 現(xiàn)在調(diào)用聊天 API 時，你必須反復(fù)地通過相同的會話歷史，并一次又一次地為相同的 toke 進行支付。將來版本的 API 可以記住會話歷史記錄。
2024 年路線：
多模態(tài) —— 這是作為 GPT-4 版本的一部分進行演示的，但在更多 GPU 上線之前不能擴展到所有人。
插件沒有 PMF，也不會很快出現(xiàn)在 API 中
很多開發(fā)人員都對通過 API 訪問 ChatGPT 插件感興趣，但 Sam 說他認為這些插件短期內(nèi)不會發(fā)布。除了瀏覽之外，插件的使用表明他們還沒有 PMF。Sam 指出，很多人希望自己的應(yīng)用程序位于 ChatGPT 之內(nèi)，但他們真正想要的是應(yīng)用程序中的 ChatGPT。
除了與類 ChatGPT 競爭外，OpenAI 將避免與其客戶競爭
很多開發(fā)者表示，當(dāng) OpenAI 發(fā)布新產(chǎn)品時，他們對使用 OpenAI API 構(gòu)建的應(yīng)用程序感到緊張，因為 OpenAI 最終可能會發(fā)布與他們競爭的產(chǎn)品。Sam 表示 OpenAI 不會發(fā)布 ChatGPT 之外更多的產(chǎn)品。他說有很多偉大的平臺公司都有一個殺手級的應(yīng)用程序，ChatGPT 將允許他們通過成為自己產(chǎn)品的客戶來使 API 更好。ChatGPT 的愿景是成為一個超級智能的工作助手，但 OpenAI 不會涉足許多其他 GPT 的用例。
監(jiān)管是必要的，但開源也是必要的
盡管 Sam 主張對未來的模型進行監(jiān)管，但他并不認為現(xiàn)有的模型存在危險，并認為對它們進行監(jiān)管或禁止將是一個巨大的錯誤。他再次強調(diào)了開源的重要性，并表示 OpenAI 正在考慮開源 GPT-3。OpenAI 之所以遲遲未能開源的部分原是因為他們覺得沒多少人和公司有能力妥善管理如此大型的語言模型。
擴展定律仍然存在
最近許多文章都聲稱「巨型人工智能模型的時代已經(jīng)結(jié)束」。Sam 表示這并沒有準(zhǔn)確地表達他的意思。
OpenAI 的內(nèi)部數(shù)據(jù)顯示，擴展定律仍然成立，而且增大模型的規(guī)模將繼續(xù)提高性能。然而，模型的規(guī)模無法一直按照相同的比例增加，因為在短短幾年內(nèi)，OpenAI 已經(jīng)使模型規(guī)模增大了數(shù)百萬倍，繼續(xù)這樣做將不可持續(xù)。但這并不意味著 OpenAI 將停止努力使模型變得更大，而是意味著它們可能每年增加一倍或三倍的規(guī)模，而不是呈幾個數(shù)量級的增長。
擴展模型仍然有效，這一事實對 AGI 的發(fā)展具有重要意義。擴展規(guī)模的理念是，我們可能已經(jīng)有構(gòu)建 AGI 所需的大部分要素，而剩下的大部分工作將采用現(xiàn)有的方法，并將它們擴展到更大的模型和更大的數(shù)據(jù)集上。如果模型擴展時代已經(jīng)結(jié)束，我們到達 AGI 的時間將會更久。擴展定律仍然適用的事實暗示著我們會用更短的時間實現(xiàn) AGI。
參考鏈接：
https://web./web/20230601000258/https://website-nm4keew22-humanloopml.vercel.app/blog/openai-plans
聯(lián)系客服
