原作者:Melissa Heikkil?
翻譯:馬丁
你正在閱讀的這句話可能是由一個AI寫的,當然,也有可能不是。
OpenAI近期公布的全新聊天機器人ChatGPT把一個問題拋到了我們眼前:我們?nèi)绾稳ケ鎰e我們在網(wǎng)上讀到的東西是由人類還是機器所寫?
自ChatGPT從今年11月底公布以來,已經(jīng)有超100萬的用戶體驗過它了。它讓人工智能討論社群著迷,很明顯,互聯(lián)網(wǎng)正被越來越多的人工智能生成的文本所淹沒。人們正在用它來創(chuàng)造笑話,寫兒童故事,以及書寫更加專業(yè)的電子郵件。
ChatGPT是OpenAI的大型語言模型GPT-3的衍生產(chǎn)品,它能針對用戶問的問題產(chǎn)生出非常人性化的答案。它生產(chǎn)的的句子看起來是正確的,因為AI以正確的順序排列正確的詞匯種類。但它并不知道其中的含義。這些模型通過預(yù)測一個句子中最有可能出現(xiàn)的下一個詞來完成工作。它們完全不知道某件事情是正確的還是錯誤的,而且它會自信地編造一些信息以提高回答的可信度,即使那些信息并不是真實的。
在一個已經(jīng)兩極化的網(wǎng)絡(luò)世界中,這些人工智能工具可能會進一步扭曲我們所接受的信息。如果它們被推廣到現(xiàn)實世界的真實產(chǎn)品中,其后果可能是毀滅性的。
人工智能初創(chuàng)公司Hugging Face的政策主管Irene Solaiman說,我們迫切地需要區(qū)分人類和人工智能編寫的文本的方法,以應(yīng)對潛在的技術(shù)濫用,他曾經(jīng)是OpenAI的人工智能研究員,為GPT-3的前身GPT-2研究人工智能輸出檢測。
新的工具對于執(zhí)行對人工智能生成的文本和代碼的封禁也將是至關(guān)重要的,就像最近由Stack Overflow宣布的那樣,這是一個代碼從業(yè)者可以尋求幫助的網(wǎng)站。ChatGPT可以輕而易舉地回答代碼開發(fā)
類的問題,但它并非萬無一失。錯誤的代碼會導致軟件的漏洞和崩潰,修復起來成本很高。
Stack Overflow的一位發(fā)言人說,該公司的技術(shù)人員正在 "通過一些工具,包括探索法(Heuristics)和檢測模型,對數(shù)以千計的來自社區(qū)成員所提交的報告進行審查",但不愿意透露更多細節(jié)。
更現(xiàn)實一點的是,想做到這件事非常困難,封禁很可能幾乎無法執(zhí)行。
今天的檢測工具
研究人員有各種方法檢測人工智能生成的文本。一種常見的方法是使用軟件來分析文本的不同特征。例如,閱讀時的流暢程度,某些詞匯出現(xiàn)的頻率,以及標點符號或句子長度是否是參照了模式某種模式。
"如果你有足夠的文章,一個非常容易發(fā)現(xiàn)的線索就是'the'這個詞出現(xiàn)的次數(shù)太多?!?Google Brain (谷歌的深度學習研究項目)” 的高級研究科學家Daphne Ippolito這樣評論道。
因為大型語言模型通過預(yù)測句子中的下一個詞來工作,它們更有可能使用 "the"、"it "或 "is "這樣的常用詞,而不是古怪、罕見的詞。伊波利托和谷歌的一個研究團隊在2019年發(fā)表的研究報告中發(fā)現(xiàn),這正是自動檢測系統(tǒng)擅長的文本。
但伊波利托的研究還顯示了一些有趣的事情:人類用戶傾向于認為這種 "干凈 "的文本看起來更好,包含的錯誤更少,因此認為它一定是由人寫的。
在現(xiàn)實中,人類寫的文本充滿了錯別字,而且變化多端,還包含了不同的寫作風格和俚語,而 "語言模型非常、非常少地出現(xiàn)錯別字。他們更善于生成完美的文本,"伊波利托說到。
她補充說:"文本中出現(xiàn)的錯別字實際上是一個非常好的指標,表明它是人類寫的,"。
大型語言模型本身也可用于檢測人工智能生成的文本。加拿大不列顛哥倫比亞大學自然語言處理和機器學習研究主席穆罕默德-阿卜杜勒-馬吉德(Muhammad Abdul-Mageed)說,最成功的方法之一是在一些由人類寫的文本和其他由機器創(chuàng)造的文本上重新訓練模型,這樣它就能學會區(qū)分這兩種情況。
同時,德州大學的計算機科學家Scott Aaronson在OpenAI做了一年的研究員,他一直在為GPT-3等模型生成的較長的文本開發(fā)“水印“,"在AI的選詞上有一個其他方面無法察覺的秘密信號,你可以用它來證明,是的,這來自GPT,"他在博客中寫道。
OpenAI的一位發(fā)言人證實,該公司正在研究水印問題,并表示其政策規(guī)定,用戶應(yīng)該以一種沒有人可以合理地誤解的方式表明由人工智能產(chǎn)生的文本。
但這些技術(shù)上的修正都有很大的注意事項。他們中的大多數(shù)人在面對最新一代人工智能語言模型時都沒有機會去發(fā)現(xiàn)漏洞,因為他們的工具是建立在GPT-2或其他早期模型上的。許多這些檢測工具在有大量文本可用時效果最好;在一些具體的用例中,如聊天機器人或電子郵件助手,它們的效率會降低,因為它們依賴較短的對話,提供較少的數(shù)據(jù)來進行分析。而且使用大型語言模型進行檢測還需要強大的計算機,以及對人工智能模型本身的訪問,而這是科技公司不允許的,Abdul-Mageed說。
索拉曼說,模型越大、越強大,就越難建立人工智能模型來檢測哪些文本是人類寫的,哪些不是。
"現(xiàn)在令人擔憂的是,ChatGPT有著非常令人印象深刻的輸出。檢測模型無法跟上,"她說。
依靠人類識別
索拉曼說,檢測人工智能編寫的文本沒有“銀彈“。她說:"一個檢測模型不會成為你檢測合成文本的答案,就像安全過濾器不會成為你減輕偏見的答案一樣。
為了有機會解決這個問題,我們將需要改進技術(shù),并在人類與人工智能互動時提高透明度,人們將需要學會發(fā)現(xiàn)人工智能編寫的句子的跡象。
"伊波利托說:"如果Chrome瀏覽器或你使用的任何網(wǎng)絡(luò)瀏覽器有一個插件,能讓你知道你的網(wǎng)頁上的任何文本是機器生成的,那就真的太好了。
一些幫助已經(jīng)出現(xiàn)了。哈佛大學和IBM的研究人員開發(fā)了一個名為 "巨型語言模型測試室"(GLTR)的工具,它通過突出可能由計算機程序生成的段落來支持人類。
但人工智能已經(jīng)在愚弄我們了??的螤柎髮W的研究人員發(fā)現(xiàn),人們發(fā)現(xiàn)由GPT-2生成的假新聞文章約有66%的時間是可信的。
另一項研究發(fā)現(xiàn),未經(jīng)訓練的人類能夠正確識別由GPT-3生成的文本,但其成功率基本上是隨機的。
伊波利托說,好消息是,人們可以被訓練得更善于發(fā)現(xiàn)人工智能生成的文本。她建立了一個游戲,測試在玩家發(fā)現(xiàn)它不是人類之前,計算機可以生成多少句子,并發(fā)現(xiàn)隨著時間的推移,人們逐漸變得更好。
她說:"如果你看了很多生成的文本,并試圖找出其中不合理的地方,你就能在這項任務(wù)中變得更好。一種方法是挑出不合理的語句,比如人工智能說做一杯咖啡需要60分鐘。
GPT-3,ChatGPT的前身,從2020年才開始出現(xiàn)。OpenAI公司說ChatGPT只是一個演示,但類似的強大模型被開發(fā)并推廣到其它產(chǎn)品中只是時間問題,比如用于客戶服務(wù)或醫(yī)療保健的聊天機器人。而這就是問題的關(guān)鍵所在:這一領(lǐng)域的發(fā)展速度意味著每一種檢測AI生成的文本的方法都會很快過時。這就像是一場軍備競賽,現(xiàn)在人類正在輸?shù)暨@場比賽。
數(shù)字感化生活,歡迎關(guān)注上海白日夢科技,留下您的評論和點贊吧~
聯(lián)系客服