最近，電子工業(yè)出版社送了我一本《一本書讀懂AIGC：ChatGPT、AI繪畫、智能文明與生產(chǎn)力變革》，不禁感嘆：現(xiàn)在連寫書都這么卷了！
要知道，ChatGPT 于去年11月30日剛剛發(fā)布、距今僅4月有余。
借用《百年孤獨(dú)》的開頭，我想寫這樣的句子：
許多年后，面對(duì)AI對(duì)人類的全面奴役，曾經(jīng)的AI科研工作者將會(huì)想起他們第一次登錄ChatGPT的那個(gè)遙遠(yuǎn)的下午。
也曾無(wú)數(shù)次想借用電影《終結(jié)者》的故事：
回到過(guò)去，回到2022年11月29日，將保存有ChatGPT模型參數(shù)的服務(wù)器引爆，于是得以繼續(xù)之前的科研和生活。
恰逢世界讀書日前后，故寫些讀后感。
AIGC是AI-generated content的縮寫，翻譯成中文可以叫做人工智能內(nèi)容生成，或者叫AI內(nèi)容生成。
通俗地講，即是計(jì)算機(jī)自動(dòng)生成一些人想要的內(nèi)容，如圖片、視頻、音頻、文本、網(wǎng)頁(yè)、代碼等。
不難看出，AIGC可以輔助用戶做很多之前做不到的事情、提高工作效率（對(duì)應(yīng)著更多人下崗）：
AI繪畫，可以以極快的速度生成插畫（取代部分插畫師和設(shè)計(jì)師）；
AI代碼生成，可以提高程序員的工作效率（取代部分低端程序員：自己寫代碼訓(xùn)練AI最后把自己給取代了）；
AI聊天+文字生成，可以取代部分線上客服、低端文秘、新聞報(bào)道、文案寫作策劃、活動(dòng)布置等很多需要與文字打交道的崗位……
而ChatGPT則是其中“最靚的仔”，發(fā)布后2個(gè)月之內(nèi)就在全球范圍內(nèi)收獲了1億用戶，是歷史上用戶增長(zhǎng)最快的產(chǎn)品，我們?cè)诖藷o(wú)需對(duì)其火爆程度進(jìn)行過(guò)多介紹。
今年3月12日，其升級(jí)版、GPT-4也正式發(fā)布了。
放眼2023年，所有人、特別是AI科研人，都經(jīng)歷了從未有過(guò)的連續(xù)震撼，幾乎每天醒來(lái)都有一個(gè)大新聞：
《莊子·養(yǎng)生主》里寫道：“吾生也有涯、而知也無(wú)涯。以有涯隨無(wú)涯，殆而已矣！”
上述的震撼顯然只是個(gè)前菜，震撼過(guò)后便是更大、更直接的影響。
原因其實(shí)說(shuō)來(lái)也簡(jiǎn)單——療效好唄。
（注：本文僅分析科研崗位。）
此時(shí)的你，如果是個(gè)AI方向的高校教師或研究員，那么你可能發(fā)現(xiàn)，一夜之間大部分的教師群、項(xiàng)目群、學(xué)術(shù)群都在討論所謂的大模型。
更悲慘的是：
你發(fā)現(xiàn)學(xué)生在質(zhì)疑自己的研究方向：老師，這個(gè)方向還有什么意義？ChatGPT做得這么好了，我們打不過(guò)它的。
你打不過(guò)、想加入，但是發(fā)現(xiàn)你沒錢買顯卡：是的，一塊計(jì)算顯卡A100的售價(jià)在10萬(wàn)人民幣左右，而自然語(yǔ)言處理大模型動(dòng)輒需要幾塊、幾十塊的卡來(lái)開發(fā)和試錯(cuò)。試問(wèn)有多少高校教師可以負(fù)擔(dān)得起？
你想申請(qǐng)國(guó)家項(xiàng)目來(lái)買顯卡：申請(qǐng)過(guò)項(xiàng)目的都懂，哪里會(huì)允許你用幾百萬(wàn)來(lái)買顯卡？噢，不好意思，青年基金只有30萬(wàn)、面上基金也就幾十萬(wàn)……
你跟學(xué)生說(shuō)，沒有卡我們就做后處理、做fine-tune、做prompt tuning。但是你發(fā)現(xiàn)：其實(shí)這些操作也是要卡的，普通教師還是買不起。
你想躺平了、讓學(xué)生還是沿著之前的方向水文章：學(xué)生說(shuō)，老師，審稿人問(wèn)我們說(shuō)我們這個(gè)方法能不能用在大模型上、如果用不上去的話有啥意義？我之后怎么找工作？
你想站出來(lái)反對(duì)大模型、要找它的漏洞，卻發(fā)現(xiàn)：好的東西都是不開源的；你僅能從人家的輸出結(jié)果上進(jìn)行分析、并且人家的模型在快速迭代、可能今天有的問(wèn)題、明天就莫名其妙被修復(fù)了……
此時(shí)的你，如果是個(gè)工業(yè)界的研究員、像筆者一樣的大頭兵，你同樣發(fā)現(xiàn)，一夜之間，昨天剛和老板說(shuō)要做的事情突然變得不再重要：
你：我要做更簡(jiǎn)單更基礎(chǔ)的學(xué)習(xí)理論，對(duì)現(xiàn)有的學(xué)習(xí)范式進(jìn)行顛覆。
老板：能用在大模型上嗎？
你：我覺得self-attention的魯棒性需要研究一下，它對(duì)對(duì)抗攻擊也沒那么魯棒，只是比CNN好點(diǎn)。
老板：能用在大模型上嗎？
你：我最近搞了個(gè)厲害的解耦算法，簡(jiǎn)單有效。
老板：大模型時(shí)代還需要做解耦嗎？
你：我想再探索一下圖神經(jīng)網(wǎng)絡(luò)做蛋白質(zhì)分子結(jié)構(gòu)預(yù)測(cè)。
老板：大模型能做嗎？
你：Causality還是挺重要的，你看Bengio都一直在研究。
老板：大模型還需要causality嗎？
你：那我看看大模型？
老板：這是個(gè)不錯(cuò)的方向。
你：那我需要64張A100來(lái)fine-tune一下LLaMA。
老板：這個(gè)真沒有。
你：。。。。。。
筆者也是無(wú)數(shù)普通人中的一員、同樣經(jīng)歷了上述關(guān)于大模型的”靈魂拷問(wèn)“。
所謂痛定思痛、知恥而后勇，經(jīng)歷過(guò)無(wú)數(shù)失眠的夜、寫壞了幾支劣質(zhì)的筆、也摸完了十條無(wú)聊的魚，筆者現(xiàn)在則認(rèn)為：
大模型時(shí)代雖然是挑戰(zhàn)，但更是普通人的機(jī)遇。
為何這么說(shuō)？
因?yàn)镃hatGPT等大模型，第一次把普通人和MIT、Stanford、CMU、國(guó)內(nèi)清北等一眾牛校大佬拉到了一個(gè)水平線上。你發(fā)現(xiàn)：原來(lái)大家都沒搞出來(lái)ChatGPT呀；之前那些東西搞得再好，也沒用了。甚至于，普通人的損失還少點(diǎn)。
那么，大模型時(shí)代，普通人如何做科研？
以下僅為個(gè)人觀點(diǎn)，如不同意，就是你對(duì)。
大模型時(shí)代顯然需要新的分析和評(píng)測(cè)方法。不同于以往以公開測(cè)試集為準(zhǔn)的機(jī)器學(xué)習(xí)，大模型現(xiàn)在可以將所有的公開數(shù)據(jù)集全部吃下（即overfit）。因此，不宜采用傳統(tǒng)方式進(jìn)行評(píng)測(cè)。
可以思考：
更有難度、更符合人類標(biāo)準(zhǔn)的評(píng)測(cè)集是什么樣的？
大模型的邊界在哪里、什么樣的數(shù)據(jù)可以測(cè)出來(lái)？
小模型和大模型到底有什么區(qū)別、僅僅是benchmark得分不同嗎？
如何公平地評(píng)測(cè)不同大模型的能力？
到底何為”AGI“?如今的評(píng)測(cè)是否是AGI評(píng)測(cè)？
大模型對(duì)于做理論和基礎(chǔ)研究的科研人員是個(gè)毀滅性的打擊。
原因很簡(jiǎn)單，深度學(xué)習(xí)理論在目前也無(wú)法很好地分析多層神經(jīng)網(wǎng)絡(luò)、更不必說(shuō)更大、更不開源的黑盒大模型了。
因此，理論研究人員可能會(huì)出現(xiàn)”巧婦難為無(wú)米之炊“的情形、不知道自己還能做什么。
但筆者認(rèn)為，基礎(chǔ)理論、數(shù)學(xué)、統(tǒng)計(jì)、概率等基礎(chǔ)學(xué)科的重要性仍然無(wú)需多言，但需要結(jié)合大模型進(jìn)行一些探索和突破。
例如：
為什么CLIP僅采用image-text pair進(jìn)行對(duì)比學(xué)習(xí)、泛化能力就很好？
如果是訓(xùn)練數(shù)據(jù)重要，那為何400M數(shù)據(jù)的CLIP和2B數(shù)據(jù)的Laion-CLIP在長(zhǎng)尾數(shù)據(jù)上并沒差太多？
數(shù)據(jù)、模型、算法、優(yōu)化，哪個(gè)更重要？
如何加速大模型的訓(xùn)練，如從數(shù)據(jù)篩選、優(yōu)化器更新的角度？
既然打不過(guò)，那索性就加入。我們可以將大模型看作一次大的技術(shù)革命、一種新的人機(jī)交互方式。
那么，此刻的你我就處于這種新的人機(jī)交互、人與AI協(xié)同的革命前夜，應(yīng)該多去思考如何利用大模型的能力來(lái)做出更多變革：
如何提高寫Prompt的能力、最好是自動(dòng)寫好的Prompt？
CV、NLP、Audio都有大模型，如何利用這些模型進(jìn)行更好的多模態(tài)信息融合？
如何設(shè)計(jì)下一代人-AI協(xié)同交互的用戶界面？
如何將大模型快速輕量地部署于端側(cè)設(shè)備？
如何更輕量地微調(diào)大模型以服務(wù)于下游小數(shù)據(jù)領(lǐng)域？
不得不說(shuō)目前的大模型并不完美、其問(wèn)題多多。
筆者也在年初”卷“了一周、搞出了第一個(gè)ChatGPT的魯棒性評(píng)測(cè)。我們發(fā)現(xiàn)大部分大模型其實(shí)對(duì)于對(duì)抗攻擊并不魯棒、其抗干擾能全力亟待提升。
因此，一個(gè)自然的研究方向便是”找茬“：
大模型的OOD能力是不是夠了？有大模型不需要OOD了？
大模型的長(zhǎng)尾是不是做得很好了？這個(gè)筆者探索過(guò)了，顯然不太行。
如何使大模型免受prompt injection、prompt leakage等攻擊？
大模型生成內(nèi)容如何判別是hallucination還是真的？
新的技術(shù)革命需要新的社會(huì)變革，而變革的過(guò)程可能是充滿荊棘的。
好的研究視野應(yīng)該放眼全社會(huì)、做出更負(fù)責(zé)任和更社會(huì)化的AI研究（Responsible AI, or societal AI），方可確保技術(shù)不被濫用、更好地服務(wù)人類：
如何進(jìn)行有效的value alignment使AI準(zhǔn)確地滿足人的價(jià)值觀？
如何對(duì)AI生成的內(nèi)容進(jìn)行有效監(jiān)管使其實(shí)不被濫用？
如何分析生成式AI對(duì)教育、生產(chǎn)力、社會(huì)、心理學(xué)等諸多層面的影響？
新技術(shù)應(yīng)該是”有溫度“的：如何引導(dǎo)”前人“更加無(wú)痛地完成新技術(shù)的更迭？
此類問(wèn)題的每一個(gè)都值得深入探討。
值得一提的是，筆者所在的研究組——微軟亞洲研究院（MSRA）社會(huì)計(jì)算組的大部分研究人員均在做相關(guān)研究，也期待未來(lái)有更多的合作者加入進(jìn)來(lái)一起合作。
社會(huì)化問(wèn)題任重而道遠(yuǎn)，需要跨學(xué)科、全社會(huì)的長(zhǎng)期密切交流合作。
好了，讀到這里，你還覺得自己的研究一片灰暗嗎？面對(duì)所有的挑戰(zhàn)、只要你快速轉(zhuǎn)變以調(diào)整方向，你也可以成為未來(lái)的“大佬”。
讓我們乘著大模型的東風(fēng)、繼續(xù)乘風(fēng)破浪吧！
視頻版：
https://www.bilibili.com/video/BV1hM41157ZF/
— 完 —
量子位智庫(kù)「中國(guó)AIGC產(chǎn)業(yè)全景報(bào)告」
開放下載！
行業(yè)首份AIGC產(chǎn)業(yè)全景報(bào)告已經(jīng)開放下載！
三大類玩家、四種商業(yè)模式、萬(wàn)億規(guī)模市場(chǎng)、最值得關(guān)注的50家企業(yè)，還有具體的賽道部署機(jī)會(huì)和行業(yè)變革機(jī)遇，都將在報(bào)告內(nèi)一一分析呈現(xiàn)。更多產(chǎn)業(yè)洞察，不容錯(cuò)過(guò)。
聯(lián)系客服
