九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

Ben Thompson：上次你們二位來訪是去年 10 月，那時距離 ChatGPT 在全球范圍內(nèi)掀起生成式 AI 的熱潮只有一個月，可以說我們非常早就預(yù)見到了這個重大時刻?，F(xiàn)在已經(jīng)是 2023 年 8 月了，這次你們想做出什么樣的預(yù)言？

Nat Friedman：去年 10 月的時候 Stable Diffusion 相當火爆，我們都期待人們能對文本和 Chatbot 產(chǎn)生更大的興趣。后來人們對 ChatGPT 的狂熱也證實了我們的觀點?，F(xiàn)在，我們正處于一個最好的時代，但同時也是最壞的時代：相較半年前，AI 初創(chuàng)公司的數(shù)量比以前高出 3 到 5 倍。

Ben Thompson：你們創(chuàng)立 AI Grant 的出發(fā)點之一是好奇做 AI 的初創(chuàng)公司都去哪了，畢竟 AI 技術(shù)有著巨大潛力，必須快速產(chǎn)業(yè)化，目前看這個問題也迅速得到了解決？

Nat Friedman：沒錯。不過這也導致了另外一個問題，就是 AI 領(lǐng)域投資人數(shù)量激增，并且現(xiàn)在很多人還處于一個上頭的狀態(tài)，可以說目前是這一波 AI 熱潮周期的最高點，市場上很多炒作情緒是完全不合理的，只是在毫無價值的項目上燒錢，但這種情況中，也確實誕生了一批極佳的新產(chǎn)品和初創(chuàng)公司。整體來說，當前市場信息噪音很大，泡沫也很多，但只要小心這些新事物的陷阱，目光放長遠，仍然可以找到很多有成功潛力的東西，不要把目光局限在 ChatGPT 、 Midjourney 這樣已經(jīng)人盡皆知的大型通用類產(chǎn)品。

Daniel Gross： ChatGPT 背后的技術(shù)是在 2020 年 6 月問世的，我查了一下 iPhone 推出三年后 App Store 上流行的免費 App，或許能給我們一些靈感，前十名包括 Facebook、Angry Birds Light、Words with Friends、Skype、Tap Tap Revenge、Paper Toss 等等。這些 App 有很多已經(jīng)不再為人所知，但在當時 Angry Birds（憤怒的小鳥游戲）就像劃時代的發(fā)明一樣。

Ben Thompson：現(xiàn)在確實很難看出來有哪些項目會成為 AI 時代的 Uber 或者 Instacart ，也有可能在一年后就出現(xiàn)了。你覺得這場浪潮真正的起點是 ChatGPT 還是 GPT-3？如果類比到 App Store 可能我們現(xiàn)在的時間要更早，類似于 2009 年的 App Store ？

Daniel Gross：GPT-3 可能只是面向開發(fā)者，而非消費者，而 ChatGPT 則標志著 to C 的 AI 產(chǎn)品的起始。與 iPhone 首先在 C 端流行的情況不同，OpenAI 的情況是相反的?？偟膩碚f，我無法確定這樣類比正不正確，在這個時間點每個人都很困惑。

英特爾創(chuàng)始人 Andy Grove 的一個觀點是，人們在行業(yè)轉(zhuǎn)型的過渡期會看不清方向，現(xiàn)在就是這樣一個階段?，F(xiàn)在看起來的 big thing，未必能夠長存；相反，一些現(xiàn)在還小的公司，以后可能會成長為有影響力的大公司。

Ben Thompson：確實，手機無疑是最直觀的類比，但我不確定這樣比是否合適，因為手機畢竟是硬件。從歷史上來看，新技術(shù)常帶來新的商機，新的用戶界面是新公司涌現(xiàn)的機會，可能會帶來新范式或全新的用戶體驗。

我認為 AI 更重要的一點在于，它對商業(yè)模式造成了根本性的轉(zhuǎn)變。互聯(lián)網(wǎng)時代，我們已經(jīng)基本實現(xiàn)零消費成本，公司原本的地域限制以及各種影響都一并消失?，F(xiàn)在盡管還有推理成本，但 AI 在信息生成方面已經(jīng)趨近于零成本，我覺得這將比互聯(lián)網(wǎng)產(chǎn)生更大規(guī)模的影響，只是需要時間，就像互聯(lián)網(wǎng)的影響大于 PC 也需要更長時間才能顯現(xiàn)。

PC 在 1982 年問世后很快就成為巨大商機，帶動了強勁的銷售增長。這也使得 Microsoft 成為一家高盈利公司，幾乎不需要 VC 投資。但是，我還并不確定 AI 是否會和 PC 一樣很快帶來明顯的商業(yè)價值和銷售增長。Netscape 后來成為一段歷史，像 Google、Facebook 這些真正有影響力的大公司直到 10 年后才開始嶄露頭角。

Daniel Gross：是的，我同意。或許我們被 History rhymes， it doesn’t repeat（歷史總是相似的，但并不重復(fù)）這句話困住了。

Nat Friedman：最近半年有一個很明顯的趨勢是大模型和生產(chǎn)力場景的結(jié)合。換句話說，這些模型通過自動化，替代或強化了企業(yè)內(nèi)部某些工作流程，它們的競爭對手不是軟件，而是一些工作崗位，是“知識型工作者”。

例如，我們最近了解到一家名為 AutogenAI 的公司，它可以自動為政府采購中標企業(yè)遞交申報材料。這給企業(yè)節(jié)省了大量時間，取代了許多以前需要顧問來做的重復(fù)性智力工作，這家公司未來會有非常廣闊的應(yīng)用前景，讓企業(yè)有機會去申請更多項目，從而獲得更高的中標機會，進而實現(xiàn)收入的提升，這家公司目前增長相當迅速，可以看作是一個成功案例。

個性化虛擬形象視頻生成也是個很好的例子，并且這個領(lǐng)域已經(jīng)形成一個完整的產(chǎn)業(yè)，人們可以在平臺上定制視頻，甚至插入自己的聲音，比如“哈嘍 Ben，我注意到你對我們的產(chǎn)品感興趣，我來給你介紹下……”大概流程就是生成文本，輸入進虛擬形象平臺，然后生成逼真的個性化虛擬形象，將其應(yīng)用于廣告、個人對外溝通、培訓等場景。相比過去因成本所限無法制作視頻，現(xiàn)在這項技術(shù)這樣大大降低了門檻。目前比較知名的公司有 Synthesia、D-ID、Hayden 等，它們都在這個領(lǐng)域表現(xiàn)突出，業(yè)務(wù)增長迅速。

另一個相似的是電商優(yōu)化（optimizing e-commerce）領(lǐng)域。這個領(lǐng)域已經(jīng)存在有一個完整的行業(yè)生態(tài)，業(yè)內(nèi)的顧問、專家和公司專注于圍繞產(chǎn)品標題和描述做搜索引擎優(yōu)化（SEO），還有亞馬遜登錄頁面的轉(zhuǎn)換率優(yōu)化等?，F(xiàn)在這些專業(yè)知識正在轉(zhuǎn)化為模型工具，能自動進行測試與優(yōu)化，用 LLM 就可以運行，為客戶帶來實質(zhì)經(jīng)濟效益，很多還能與人力團隊競爭，這很有意思，因為六到九個月之前這個市場都是基本空白的。而在我剛才提到的每個細分領(lǐng)域中，幾乎都有一家公司正在或即將通過提供產(chǎn)品/服務(wù)獲得千萬級別的收入。

Ben Thompson：突然想到一點，與我剛剛說的恰恰相反，感覺更像是 PC 爆炸式增長的實際情況。我覺得 PC 當時流行的一個重要因素在于它替代了大型計算機，使用更加便捷，導致難以回歸到大型機時代，雖然大型機有時候可能是個更好的選擇。

過去的會計部門都規(guī)模龐大，一大批員工通過手寫賬本的方式完成工作。后來隨著電腦的應(yīng)用，基本上整個部門都被取代了，因為電腦可以做的更好、更準確，這確實與自動撰寫招標申報書的情況很相似。

另一個關(guān)于虛擬形象方面的看法是，AI 具有人性化的一面。有人分析推特為什么沒能成為主流社交平臺，我個人一直覺得是因為推特是文字類平臺，而大多數(shù)人更喜歡語音和視頻交流。過去可能有人不擅長寫文案，因此被排除在部分經(jīng)濟活動之外，而虛擬形象技術(shù)使得交流更具包容性。

Nat Friedman：是的，目前企業(yè)內(nèi)部存在大量文本類（text-to-text）工作，現(xiàn)在也包括文本到視頻（text-to-video）工作。這些工作中有很大一部分可以通過 LLM 實現(xiàn)自動化、效率和產(chǎn)出的提升。還有一些法律科技公司正在利用 LLM 替代或增強律師助理的工作，例如 Harvey、Robin 和 Spellbook 等。他們能完全取代律師嗎？當然不能，但在一定程度上，這些工具能快速高效地完成律師需要花大量時間完成的機械性工作。

醫(yī)療環(huán)境中的臨床信息記錄也可以和 LLM 結(jié)合起來。

企業(yè)成功的秘訣一直在于軟件和人員的有機組合，但隨著 LLM 帶來的軟件能力的提升，軟件可以接手的工作量在增加。這使得企業(yè)在朝著一種“cybernetic”方式發(fā)展，即人與機器在工作流程中的有機融合，LLM 和企業(yè)工作流的融合是不可逆的。

Ben Thompson：我一直在思考的一個問題是公司的本質(zhì)是什么，企業(yè)的持續(xù)性和意義從何而來。公司要是想要更持續(xù)，就不能太依賴于人，因為人過于不可控。公司要想更長久的本質(zhì)是什么？我的觀點是，企業(yè)的本質(zhì)在于數(shù)據(jù)以及流程，所以我對能夠抓住這一機會的公司極感興趣。雖然 Box 和 Dropbox 至今依舊存在，但卻未能成為擁有超級影響力的公司，但另外一方面，AI 的重要性在一定程度上得到了驗證。

Microsoft 和 AWS 都在財報會上提到，他們對自己的位置相當樂觀，因為數(shù)據(jù)處理是數(shù)據(jù)流的下游過程，而他們已經(jīng)擁有了數(shù)據(jù)。一個公司變得越來越像計算機、越來越智能化是一種自然進化，這也正是激勵體系所推崇的方向，也就是讓企業(yè)不要過分依賴人。

Nat Friedman：我認為你說得完全正確。這里涉及到一些哲學問題。哲學家尼克·蘭德（Nick Land）提出了一個很棒的觀點，他認為資本主義和 AI 本質(zhì)上是相同的，因為資本主義驅(qū)動著一種去人化的演化進程（impersonal process improvement），這個很好理解。但他另外一個更有趣的觀點是，人們之所以對資本主義感到不適，是因為資本主義從根本上來說是一種基于生物基質(zhì)運行的程序，對人類來說并非理想環(huán)境。

因此，“對于人類而言，所謂資本主義的歷史實際上是一場由來自未來的人工智能空間發(fā)起的入侵，它必須完全依靠敵人的資源來組裝自己?！?/strong>在一些新的 AI 產(chǎn)品的生產(chǎn)中，我們可以看到這種情況的發(fā)生，以前你可能需要雇傭代理機構(gòu)或團隊來做的事，而現(xiàn)在越來越多地可以使用模型來完成。

Ben Thompson：這是否進一步印證 AI 最具價值的應(yīng)用場景主要在企業(yè)場景這個觀點？因為企業(yè)會以傳統(tǒng)理性的方式考慮成本，即大額前期投入將在未來某個時間區(qū)間內(nèi)得到回報。而消費者更注重體驗，未必會考慮全生命周期成本。另外，已經(jīng)擁有數(shù)據(jù)的企業(yè)優(yōu)勢將會相當明顯。新公司還有機會進入這個領(lǐng)域嗎？

Daniel Gross：我認為 B 端往往是進步的開始，大家通常都會瞄準企業(yè)來去做改進，比如早期的電視節(jié)目是以廣播節(jié)目為基礎(chǔ)進行轉(zhuǎn)化的，以及 Horseless Carriage（無車馬車，即最早期的汽車，以內(nèi)燃機驅(qū)動，但外形上仍舊是馬車）的起源等等。所以我認為目前很多 AI 產(chǎn)品還屬于 V1 版本，它們的目標僅僅是利用技術(shù)可以實現(xiàn)自動化，因為現(xiàn)在可以進行自然語言交互了。

以后的 AI-native 應(yīng)用案例將更多地面向消費者，這些應(yīng)用將完全不同，它們不再是取代之前的某個過程，而是創(chuàng)造了以前從未有過的全新功能。就比如現(xiàn)在互聯(lián)網(wǎng)上消費者能體驗到的東西，其實和以往任何事物都不一樣。

Ben Thompson：Midjourney 和 Character.AI 似乎就屬于在想象力層面提供了全新體驗、和以往的任何事物都不相同。

Daniel Gross：是的，之前有觀點認為，機器人（Robotics）會非常擅長藍領(lǐng)工作，但機器在人類心理學方面表現(xiàn)非常糟糕，心理學正是人與人之間聯(lián)系的最后一個領(lǐng)域?？墒聦嵶C明，機器人（拾象注：這里主要指對話機器人 chatbot）在心理學方面表現(xiàn)非常出色，在實際勞動中的靈活度幾乎為零。

Character.AI 就是一個很好的例子，現(xiàn)在出現(xiàn)了許多這類 AI-native 的行為，比如說在 Character.AI 上，你可以整天和一個 Chatbot 聊天，有個特別好的問題就是“你以前都在做什么？”這樣你就可以弄清楚這個 Chatbot 的實際用途，通常他們都花費了大量時間在游戲或社交媒體上。

預(yù)測未來是非常困難的，就像當初看到 iPhone 我們無法預(yù)見 Uber 的出現(xiàn)，或者看到互聯(lián)網(wǎng)無法預(yù)測到亞馬遜一樣?，F(xiàn)在這些機器人通常是為消費者體驗而設(shè)計的，它們會成為真正具有顛覆性的事物，而企業(yè)也會獲得可觀的好處。相當于我們以前雇傭的是一個人，現(xiàn)在則是一個能得到機器人協(xié)助的人（Person in a co-pilot model）。

我認為如果 AI 技術(shù)給企業(yè)帶來顛覆，那很可能來自于一種全新的原生用戶體驗。這類顛覆通常屬于 Clayton Christense 式的低端市場干擾，但 AI 可能帶來的影響規(guī)模要大得多。目前很多公司試圖利用 AI 完成高端法律工作，但模型在判斷和依據(jù)方面的不足也需要解決，而低端服務(wù)，如支付 500 美元詢問律師租賃相關(guān)問題，使用 AI 助手有可能更高效?？傮w來說，AI 很可能通過提供低成本的初級服務(wù)，對低端法律市場產(chǎn)生深遠影響。

Ben Thompson：Disruption 最初是指從市場底端進入的產(chǎn)品或服務(wù)，盡管質(zhì)量低下，但因為成本結(jié)構(gòu)具有根本性的差異，可以以不同的方式進行規(guī)模擴張。典型的反例是連鎖經(jīng)濟型酒店和高端豪華酒店，它們之間的區(qū)別在于投入的資金數(shù)量，所以漢庭相比麗思卡爾頓并不是一種 disruption，只是更便宜罷了。

但像 AI 法律助手這種能夠無限擴展、但又可能會比高端律師犯更多錯誤的法律咨詢模式，是非常具有顛覆性的，因為提供高端法律服務(wù)的人日常并不會涉及到簡單的法律咨詢服務(wù)，也會顧慮工作數(shù)量和交付質(zhì)量之間的平衡，但 AI 則可以。雖然可能會犯錯誤，但它的使用量更大，更容易訪問，因此反饋和改進的速度也更快，以至于時間久了，未來法律 GPT 可能會超過高端律師，而高端律師仍然會犯錯誤，但到那時他們已經(jīng)束手無策，無法做出應(yīng)對。

Daniel Gross：是的，未來消費者也許可以接受更高的失敗率、完全新的范式或者與以前完全不同的事物。然后樂觀來說，隨著技術(shù)成熟，我希望 AI 也能助益?zhèn)鹘y(tǒng)企業(yè)，就像食鹽中的碘，自然融入，不易察覺。

目前許多文本密集型的公司可能被低估，因為將文本轉(zhuǎn)化為產(chǎn)品難度比較大，可又無法根據(jù)企業(yè)處理文本量來進行類似 S&P500 的排序，表明這類公司的重要性未得到充分認識。如果能根據(jù)文本處理能力排名企業(yè)，可能會發(fā)現(xiàn)一些潛在值得投資對象。在一個信息可自由合成的世界里，文本能力實際上是一個重要的相關(guān)指標。

Ben Thompson：就像你提到的案例一樣。或者我們想象一家建筑公司，如果你能夠比同行低成本在全國范圍內(nèi)拿下所有項目，那將相當顛覆。

Nat Friedman：當然，另一方面也需要 LLM，因為那些收到投標的機構(gòu)從來沒有預(yù)料到他們現(xiàn)在能得到這么多的申請。

Ben Thompson：未來，這將是 AI 與 AI 的對話。

Nat Friedman：對的，目前我們很多機構(gòu)都受限于生成高質(zhì)量文本的難度，而技術(shù)進步使我們能夠大規(guī)模地生成文本，這無疑是一個重大變化。

因此，我在思考的是，也許存在某種簡單的方法可以激活邏輯思維，因為如果只在互聯(lián)網(wǎng)上進行訓練是不能學會邏輯思考的，互聯(lián)網(wǎng)只是世上所有信息的一小部分。

Ben Thompson：你說得對。ChatGPT 發(fā)布 Plugin 架構(gòu)時我也分析過這個問題，我認為目前它還在探索實現(xiàn)這一點的最佳方法。但從人類工作模式來看，我理解人腦工作方式與這類大模型廣義來說的工作機制沒有太大差異。我們在模型運作中同樣利用大量預(yù)測能力，這也是我們神經(jīng)元之間自然交互的方式。

我們能做的是，利用計算機來做我們不擅長的事情，比如以極高的速度完成非常困難的數(shù)學難題。在某種程度上，LLM 并不是計算機的最終目標，而是它能否以一種有意義的方式組織不同的計算活動。或許，更關(guān)鍵的是如何讓 AI 意識到它的局限性。

從這個角度，hallucination 是一種特性，而不是缺陷。創(chuàng)造力才是最吸引人的。最重要的不是修復(fù) hallucination，而是通過確定性計算機訓練系統(tǒng)驗證，以確保這些東西不會脫軌。

我好奇的是，沿著我們使用計算機的方式，LLM 也能夠同樣操作計算機嗎？

Nat Friedman：如果把機器學習分為 1.0 和 2.0 時代，目前我們正處于后者。ML 1.0 時代著重建立排序和推薦算法。而現(xiàn)在這個生成式 AI 時代，我們已經(jīng)淡忘了 ML1.0 時代的一些經(jīng)驗教訓之一就是：為訓練做數(shù)據(jù)準備工作需要耗費十倍于建模工作的努力，因為數(shù)據(jù)來源復(fù)雜，需要整合和清理。

這些大型 Transformer 架構(gòu)很擅長去噪和清洗數(shù)據(jù)。但是普遍來看，我們在數(shù)據(jù)方面工作還做得太少，比如數(shù)據(jù)準備和處理等等。像 OpenAI 這樣最優(yōu)秀的公司可能已經(jīng)做了很多秘密的數(shù)據(jù)工作，而且數(shù)據(jù)本身就是一項可持續(xù)的資產(chǎn)。數(shù)據(jù)方面還有很大改進空間，無論是獲取更好的數(shù)據(jù)還是對數(shù)據(jù)進行清理，顯然你不想獲取一些低質(zhì)量的 tokens 用于模型的訓練。

那么我們是否可以對數(shù)據(jù)進行聚類，剔除差劣樣本，在數(shù)據(jù)清理工作上做得更好？此外，是否可以采取分級學習的方法，即順序和流程是否也很重要？

雖然目前存在很多真實問題，但總體來說，我對未來還持樂觀態(tài)度。我們可以嘗試的方法很多，模型規(guī)模將更大，同時還有很多數(shù)據(jù)來源尚未被充分利用，比如目前視頻數(shù)量恐怕已經(jīng)超過 1000 億，但在訓練中使用的程度還不夠。如果能找到更好的方法來利用這些資源，可能會有很大幫助。

Nat Friedman：其實 Whisper 就基于一百萬小時的 youtube 字幕文本做的訓練，但這對海量的 video 內(nèi)容來說就是杯水車薪。AlphaZero 的自對弈學習（Self-play learning）也是一個值得研究的方法。我們是否可以采取類似于代碼解釋器的環(huán)境實現(xiàn)自我學習？這還需探索，我也不能確定?？傮w來說， 目前涌現(xiàn)的幾百來種想法中，一定會有新的有效思路，我們的技術(shù)一定會有長足的提升。

Daniel Gross：我們已經(jīng)轉(zhuǎn)換研究方向了，我過去主要研究的是強化學習（RL）和自對弈這兩個方向。RL 曾在多個領(lǐng)域都取得很好的進展，如機器手操作、魔方、游戲等，但 2018-2019 年后，研究趨勢幾乎完全轉(zhuǎn)向不再深入研究 RL 本身。

因為 RL 模型難以控制，就像手指尖上平衡一根非常長的桿子，很小的錯誤都可能讓它失控，所以研究方向轉(zhuǎn)到了 transformer 等模型，因為它們對糟糕的訓練數(shù)據(jù)和錯誤更為堅固穩(wěn)定，且擅長組織文本。但是除了預(yù)測下一個 token 之外，它沒有自我構(gòu)建和自我學習的能力。所以實驗室現(xiàn)在可能會重新采用曾經(jīng)拋棄的方法。

Ben Thompson：我認為這更像是關(guān)于驗證層而非生成層的課題。現(xiàn)階段模型的生成能力已經(jīng)較強，但如何評估和確保其生成內(nèi)容的有效性和正確性還是一個重要問題，也許系統(tǒng)性強化學習是解決這個問題的一種方式。

Nat Friedman：從驗證層面來看問題，確實提供了一種有效的方法來探索 AI 應(yīng)用領(lǐng)域。它尋找解決方法的搜索空間很大，但很容易驗證解決方法是否可行。

Ben Thompson：這正是代碼的美妙之處不是嗎？行，或者不行，并沒有中間地帶，這正是很好的一個 AI 應(yīng)用場景。

Nat Friedman：對的，因為可以在較短時間內(nèi)通過測試來評判好壞，但找到正解卻非常困難，本質(zhì)上就是 AI 的完美應(yīng)用。

在開源領(lǐng)域就沒這么麻煩了，我們可以實現(xiàn)更深度的集成。我一直在考慮 Llama 2 的問題，覺得現(xiàn)在的配置可能被夸大其詞了。要使其在價格上與 GPT-3.5 相競爭，我認為它應(yīng)該能在每小時 75 美分的 GPU 上處理每秒 100 個 token。而高性能的 A100，也就是上一代 GPU，現(xiàn)在的成本是每小時 1.5 到 2 美元。我覺得很多人并沒有真正以 GPT-3.5 相似成本的方式來運行 Llama 2，二者性能也不盡相同。不過，未來它肯定會得到優(yōu)化和改進。很多人都喜歡使用和給 Llama 糾錯，我真的認為這為 AI 的可解釋性提供了一個很好的途徑，擁有這樣的模型確實是一大優(yōu)勢。

Ben Thompson：如果云端的成本持續(xù)降低，本地模型的存在是否還是必要的？

Daniel Gross：本地模型將肯定會成為云端的重要補充，比如，對于一些簡單任務(wù)，例如自動補全詢問“法國的首都是什么”這些問題，完全可以在本地來完成。

即將發(fā)布的最新 iOS 版本中已經(jīng)實現(xiàn)了一個真正有效的自動糾錯功能。我相信這是一個亞秒級的 Transformer 模型，它可以實時響應(yīng)你在 iPhone 上的每一次鍵盤敲擊。這背后其實有一個感人的故事，這是一位蘋果公司的工程師傾注心血的成果，你可能永遠也不會知道這位工程師是誰，他可能永遠不會出現(xiàn)在某個主題演講中，我們也見不到他。我并不是想把這變成一個蘋果的廣告，但我認為這就是他們可能會對待人工智能的方式。我覺得將來會有很多本地模型，它們偶爾會連接到云端的父模型，盡管這樣做會消耗更多的能源。本地模型會變得更加智能，但云模型也會保持一定的比例，并持續(xù)進化。

Ben Thompson：而且更便宜。

Daniel Gross：是的，我有時會思考這樣一個抽象的問題：我認為普通人每天大概需要 100 到 200 瓦特的能量，而普通的 iPhone 可能只需要四瓦特?；旧?，我作為一個生物計算機，每天消耗的能量大約是 20 臺 iPhone，或者說 40 臺 iPhone。我可以編程，我認為我和 GPT-4 一樣好，有時甚至更好。所以，我確實想知道本地模型能達到多好的性能呢？因為從能量消耗的角度看，我們的智能在某個時候能在 iPhone 上運行并不遙遠。我們可能相差兩個數(shù)量級。我認為，基于 4 瓦特工作的本地智能實際上可以走得很遠，我們就是很好的例子。

Ben Thompson：我一直對商業(yè)模式及其產(chǎn)生的影響很感興趣，其中需要特別點出的是目前 AI 領(lǐng)域中的推理成本問題，這意味著實際的內(nèi)容生產(chǎn)并非零成本?；氐矫嫦蛳M者的公司，如 Midjourney、Character.AI 和 ChatGPT，它們主要采取的是哪種商業(yè)模式？是訂閱制嗎？像 Microsoft 推出的每月 30 美元的 Copilot ，還有其他的企業(yè)級公司提供了各種各樣的附加服務(wù)，這在有明確成本的背景下都很合理。

再回到網(wǎng)絡(luò)，遍布全網(wǎng)的是那些免費但充斥廣告的大公司。在一個幾乎零成本的環(huán)境中，這種模式非常有效。如果要運營大數(shù)據(jù)中心的大公司如 Google 或 Facebook ，你需要大量投資，但對他們來說，這些成本在邊際上幾乎可以忽略?；蛟S對 AI 而言，最大的問題是，這些公司是否會進入到一個階段，即推理的邊際成本對他們來說幾乎可以忽略，從而創(chuàng)造出廣大用戶所認可的產(chǎn)品？你認為我們已經(jīng)在這條路上了嗎？

Nat Friedman：我覺得我們其實還沒有達到那個程度。我預(yù)測未來的趨勢是，現(xiàn)在被視為前沿技術(shù)的東西可能最終會被大眾化，但之后我們又會迎來新的前沿技術(shù)，它們需要更先進的硬件支持，我們對技術(shù)的期望也會隨之提高。比如我認為推理能力會是一個重要的發(fā)展方向。

我曾與 Daniel 討論過這個話題。Midjourney 能取得巨大成功，部分原因在于他們能夠擴展其推理能力至很多的 GPU 上，利用那些未被充分利用的 GPU 進行大量的推理工作。我覺得他們之所以能夠做到這一點，是因為他們是第一個這么做的，如果現(xiàn)在有人想創(chuàng)建一個與 Midjourney 類似的平臺，他們需要付出比 Midjourney 更大的努力來獲取必要的推理資源。

實際上，我們注意到 Llama 2 正在推高 A100 的需求，那些希望在數(shù)據(jù)中心中使用 Llama 2 進行推理的公司需要自己尋找 GPU。令人感到奇怪的是，盡管 A100 是三年前的產(chǎn)品，并且如 Daniel 所指出的，它屬于上一代技術(shù)，但它的需求仍然很高。Nvidia 在六到八周前已經(jīng)將 A100 的售價提高了 18%。然而現(xiàn)在，H100 已經(jīng)成為市場上的新寵。

Ben Thompson：一年前 Nvidia 還報廢了大量庫存，太不可思議了。

這些庫存其實是他們過去的積壓產(chǎn)品，同時也是 Nvidia 業(yè)績驚人的原因之一。關(guān)于 Nvidia 財報值得關(guān)注的一大問題是：GPU 市場會有何走勢？Nvidia 是否能維持其領(lǐng)導地位？無疑，Nvidia 目前在硬件和 CUDA 兩方面都占有優(yōu)勢，但競爭對手都在大力努力縮小這一差距，那么 Nvidia 能否維持領(lǐng)先地位呢？

Nat Friedman：接下來幾年將會是 Nvidia 和 Google TPU的天下。

TPU 對 Google 來說是一筆巨大的戰(zhàn)略資產(chǎn)。Google 是唯一一個擁有獨立的硬件加速器的公司，盡管在制造工廠（fabs）和供應(yīng)鏈的其他部分存在一些重疊，但它們不受其他公司（如 NVIDIA 的 CEO Jensen Huang）分配給它們的 H100 GPU 的限制。Google 可以自行分配 TPU 資源，而且據(jù)說他們正在以創(chuàng)紀錄的數(shù)量生產(chǎn) TPU v5。

Ben Thompson：你的意思是，對付 TSMC 比 Nvidia 更容易。

Nat Friedman：確實，至少沒有 Nvidia 的瓶頸問題?，F(xiàn)在 Nvidia 有大量需求，但供應(yīng)卻非常有限，因此必須非常精細地分配 GPU 資源。這樣的中心化資源分配實在是令人難以置信。所以，即便有人說“AMD 的芯片會和 Nvidia 的一樣好”，但明年他們也無法生產(chǎn)出足夠的量。在我看來，在接下來的幾年里，僅有兩家主導公司，而市場將會受到供應(yīng)短缺的影響，特別是隨著更多 AI 應(yīng)用的崛起和對推理能力的需求增加，以及更多公司想要訓練大模型。

Ben Thompson：那么問題是，現(xiàn)在是不是一個過熱的階段，幾年后我們回過頭來，會發(fā)現(xiàn)當時生產(chǎn)和購買了過多的 GPU，導致市場供過于求？就像去年的 Nvidia，但規(guī)?？赡苁悄菚?100 倍或 1000 倍。不過這種過?？赡軙?AI 產(chǎn)生巨大推動作用，因為有了 2023、2024 買的已經(jīng)折舊的 GPU，計算成本會降低很多，利用。一旦市場崩潰，那就好像回到了過去的互聯(lián)網(wǎng)泡沫，很多公司在大量鋪設(shè)光纖后迅速宣告破產(chǎn)。

Nat Friedman：那就產(chǎn)生了很多暗光纖（鋪設(shè)但未被使用的光纖）。所以供應(yīng)短缺之后到底會不會出現(xiàn)過剩呢？我認為會的，而且對 scaling law 的堅定信仰可能也是一個重要因素。本質(zhì)上，你投入的訓練數(shù)據(jù)和浮點運算越多，你將得到的模型就會越好，從 GPT-1 到 GPT-4 每次一個數(shù)量級的躍升都證明了這點，所以未來在 GPT-5 上我覺得也會看到。

未來可能只有少數(shù)實驗室有能力承擔訓練 GPT-5 或 GPT-6 等價模型的成本，而所有的初創(chuàng)公司，除非是做垂類小模型，否則就會被市場淘汰，從而形成“逃逸速度”（escape velocity）的現(xiàn)象?？赡軐腥募夜灸軌蜇摀闷鹩柧?100 億美元的模型，而且這實際上是有限數(shù)量的 GPU。

Ben Thompson：你描述的基本就是現(xiàn)在 fabs（半導體晶圓廠）的情況，過去所有人都想產(chǎn)自己的芯片，但后來因為成本太高，所以就只剩下一個獨苗了。

Nat Friedman：按現(xiàn)在的趨勢發(fā)展，這可能也是我們的未來，因為成本變得太高了，要推出一個通用模型可能需要 1000 億美元的投資。我們的實際行動也證明這點了。

Ben Thompson：有件我認為是你們做過最瘋狂的事情之一，就是你們推出的 Andromeda GPU 集群。你們是如何考慮這件事的？

Nat Friedman：其實并不是每家創(chuàng)業(yè)公司都需要自己的 GPU 集群，確實存在不需自己訓練模型就能做出好產(chǎn)品的好公司，他們一般都在使用 GPT-4 或 GPT-3。但對于某些 AI 公司，自己做訓練才是關(guān)鍵。對于這些初創(chuàng)公司，因為資金有限，是難以長期租用大規(guī)模集群的。

Ben Thompson： 90 年代那個需要先買電腦才能創(chuàng)業(yè)的時期加速前進。因為在 AWS 出現(xiàn)后，一切都變得唾手可得，門檻降低，所以試用階段和種子階段公司的數(shù)量增加了，而你是想通過私有和對外租賃的方式來）實現(xiàn)類似的效果？

Nat Friedman：是的，所以這就需要暫時進行一段時間的擴張?，F(xiàn)在基本每次剛有 H100 的貨，甚至還沒卸貨就已經(jīng)被預(yù)訂了三年的使用權(quán)，市場對 H100 的需求太大了。但如果你是一家只籌集了幾千萬美元的初創(chuàng)公司，只想擁有集群一個月的訪問權(quán)，沒人能給你提供這樣的服務(wù)，就像沒有人能給你提供預(yù)訂哈勃太空望遠鏡的時間，什么“我們只需要用幾個小時”都不太可能。

我和 Daniel 前幾年一直在談?wù)撨@個問題，也一直在等待市場來解決這個問題。我聯(lián)系過 Satya、Google 和 Amazon，跟他們講這件事和“云”的本質(zhì)類似，讓企業(yè)可以租到一臺暫時還沒有能力購買的計算單元，但沒有人真的這么做。我們之前沒有公開談?wù)撨^這個問題，但大約五六個月前，我們采購了數(shù)百個 GPU，我們承擔了風險，支付了費用，然后在一個周五晚上把它們提供給了我們投資的初創(chuàng)公司，具體費用大概達到了幾百萬美元。到了周六下午，這些 GPU 全部被三倍量超額預(yù)訂一空。

我們當時突然發(fā)現(xiàn)我們運營的是一個小型云，所以必須提高這件事的優(yōu)先級，后來這幾百個 A-100 增加到一千多個，大概有六七百個 A-100 時，我們決定要認真起來，建立一個真正有競爭力的集群。因此，我們最終選擇與一個可信賴的供應(yīng)商合作，并通過招標的方式建造了一個名為“Andromeda Cluster”的集群。這個集群由 2512 個 H100 組成，彼此互聯(lián)，供我們投資的初創(chuàng)公司使用，就像一個封閉的云花園（walled garden cloud）。

Daniel Gross：Andromeda 在 超算 TOP500 排行榜上排名多少？

Nat Friedman：我暫時不知道，可能在兩位數(shù)之內(nèi)吧。如果你用 FP8 和 Sparsity 進行訓練，那就是大約 10 exoflops（每秒執(zhí)行十萬億次浮點運算），是一臺大型超級計算機。

這些 GPU 的真正的用途是培養(yǎng)特定領(lǐng)域，如視頻、生物學或語音等的基礎(chǔ)模型，或者說，是產(chǎn)品模型?，F(xiàn)在很多人都在使用這些大型基礎(chǔ)模型，但他們需要產(chǎn)品模型來整合自己正在開發(fā)的產(chǎn)品。這是一個巨大的機會，我們在這方面也有滿滿的規(guī)劃。時間會告訴我們答案，但我們真的很想嘗試，這會非常有意思。

Daniel Gross：市場還是不夠完善，很多初創(chuàng)公司由于沒有足夠的計算資源而無法開發(fā)一個能吸引更多投資的模型，這就造成了不平等。即使你技術(shù)過硬，也難以進入這個領(lǐng)域。使用 Andromeda 的公司可能并不把它作為最終目標，但它就像一個披薩烤箱，你把原材料和面團放進去，就能烤出美味的披薩，最終，也許有一天他們會開設(shè)自己的披薩店，這就是我們的愿景。

Nat Friedman：對于初創(chuàng)公司，只需要籌集 2000 萬美元，就可以像有 2 億美元那樣使用資源一段時間。的進展會更快，資金使用效率也更高。有些公司可能募了數(shù)億美元，但如果他們有這樣的資源，我們只需投資其中的 20%-25%，也能得到相同的成果。投資資金也可以更好地利用。

創(chuàng)業(yè)企業(yè)他們只需為我們提供的服務(wù)支付費用，雖然我們并不打算從 Andromeda 上獲利，但這件事的發(fā)展比我們預(yù)期的更復(fù)雜和有趣，迄今為止，這算是一個非常成功的嘗試。我們希望不僅能幫助與我們合作的企業(yè)，還能吸引那些尚未了解我們的初創(chuàng)公司。但遺憾的是，其他 VC 也開始效仿，加劇了對 GPU 的需求。

Ben Thompson：你們第一次推出 AI Grant 時是在主動找到 AI 領(lǐng)域的初創(chuàng)公司，到了第二次整個領(lǐng)域已經(jīng)大爆炸了，如何保證持續(xù)篩出來哪些是真正的好公司？AI Grant 會發(fā)生什么變化？

Nat Friedman：是的，好消息是有更多的公司，有更多的高質(zhì)量的創(chuàng)始人。壞消息是你不得不篩選出很多工作。這次我們有數(shù)以千計的申請，所以我們需要對所有申請進行審查。

Daniel Gross：當我和 Nat 在 2017 年首次推出 AI Grant 時，主要是為了給研究者提供資金支持，那時 AI 研究還少，也還沒有出現(xiàn) Transformer。但當我們考慮再次啟動 AI Grant 時，情況已經(jīng)大不相同，AI 研究人員能拿到數(shù)百萬美元的報酬，并不需要我們提供小額撥款。但確實還有一個問題有待解決，那就是會做 AI 產(chǎn)品的人才還很短缺，這里說的產(chǎn)品不僅僅是給 GPT 加個界面這么簡單，而是能真正做一個公司。

因此，我們重新啟動了這個計劃，形式類似于撥款，我們提供了幾乎是無上限的 SAFE 協(xié)議，并且提供了一筆數(shù)目不小的資金，而得到支持的公司最終也表現(xiàn)不錯。到第二輪時，市場再次做出了響應(yīng)，出現(xiàn)了大量不錯的 AI 產(chǎn)品。

Ben Thompson：那么 AI Grant 在今天的意義和作用又是什么？

Daniel Gross：我覺得 AI Grant  依舊是有必要的，因為它讓很多創(chuàng)始人有機會實現(xiàn)自己的追求。這個項目一方面和大家預(yù)想的一樣，可以幫助創(chuàng)始人互相認識，在圈子里建立人脈。而另一方面，我認為只有現(xiàn)在回顧多年來運營這些項目時才能理解，那就是讓那些原本覺得自己不適合創(chuàng)業(yè)的“圈外人”，也有機會參與進來。這也是 Silicon Valley 的一大優(yōu)勢，不僅僅是 AI Grant，還有 Y Combinator 和其他許多 AI 加速器和創(chuàng)業(yè)孵化器的最大價值。

我們更傾向于那些與眾不同的、不符合傳統(tǒng)標準的人，他們會有不同的想法和視角。而大家都追捧的“紅人”其他 VC 也會投，所以并不是我們關(guān)注的對象。