作者丨適道
沒(méi)有人懷疑，新時(shí)代已經(jīng)到來(lái)。作為新時(shí)代“發(fā)電廠”，大模型正在改造著各行各業(yè)。
在AIGC領(lǐng)域，背靠大模型，以ChatGPT為代表的AI聊天機(jī)器人，以Midjourney為代表的AI圖片生成工具，掀起了第四次AI浪潮。
但這或許只是可口的前菜？
一方面，比起圖文，視頻是更強(qiáng)的商業(yè)化載體；另一方面，有了5G技術(shù)高帶寬、低時(shí)延的加持，視頻領(lǐng)域的技術(shù)革命近在眼前。
那么，下一個(gè)大模型的爆發(fā)點(diǎn)會(huì)在何處？是在視聽行業(yè)嗎？
從需求來(lái)看，AI生成時(shí)代之前，視頻生成的智能化主要用于后期剪輯；AI生成時(shí)代當(dāng)下，接入大模型，成本和難度更大的素材采集可以輕松完成，而這剛好能夠滿足行業(yè)對(duì)“降本增效”的需求。
但從可實(shí)現(xiàn)性來(lái)看，根據(jù)易觀《AIGC產(chǎn)業(yè)研究報(bào)告2023——視頻生成篇》，生成視頻商業(yè)化落地的挑戰(zhàn)主要集中在產(chǎn)品易用性挑戰(zhàn)、穩(wěn)定可控挑戰(zhàn)，以及合規(guī)應(yīng)用挑戰(zhàn)。其中，“產(chǎn)品易用性”
指視頻生產(chǎn)的速度、交互體驗(yàn)等；“穩(wěn)定可控”指可生成視頻的時(shí)長(zhǎng)、分辨率，以及處理速度，對(duì)復(fù)雜場(chǎng)景的理解等。
總的來(lái)說(shuō)，生成視頻的質(zhì)量、互動(dòng)的準(zhǔn)度極大影響著其商業(yè)化落地。
那么現(xiàn)在的視頻生成技術(shù)走到了哪一步呢，不妨先展開看看相關(guān)領(lǐng)域的進(jìn)展。
一篇來(lái)自Boxmining的文章給出了部分答案（作者Steve
Gates），文章介紹了包括Phenaki 、Imagen
Video、Make-A-Video在內(nèi)的幾款A(yù)I視頻生成模型，并指出了AIGC領(lǐng)域的下一個(gè)爆點(diǎn)。以下是適道的翻譯簡(jiǎn)寫。為方便大家絲滑閱讀，適道對(duì)原文結(jié)構(gòu)進(jìn)行了微調(diào)，并補(bǔ)充了文中提及的案例。
以下原文：
隨著大模型不斷發(fā)展，人們急切期待AI繪畫和ChatGPT后的下一個(gè)突破點(diǎn)。
在通信領(lǐng)域，5G技術(shù)的高帶寬、低時(shí)延，為視頻傳輸提供了強(qiáng)有力的保障，這會(huì)引發(fā)一場(chǎng)圍繞8K視頻、VR和AR的視頻技術(shù)革命。
綜上所述，技術(shù)法則預(yù)示著視頻領(lǐng)域的技術(shù)革命指日可待。隨著AI和5G技術(shù)的發(fā)展，視頻行業(yè)將迎來(lái)新一輪的創(chuàng)新發(fā)展浪潮。
Google：
Phenaki & Imagen Video
在現(xiàn)象級(jí)產(chǎn)品ChatGPT大放異彩之時(shí)，Google的文生視頻（Text
to Video，T2V）模型Phenaki的表現(xiàn)也相當(dāng)炸裂。
Phenaki不受固定幀數(shù)、時(shí)長(zhǎng)、分辨率的限制。它不僅比以前的模型更長(zhǎng)、更復(fù)雜，分辨率更高，還能理解不同的藝術(shù)風(fēng)格和3D結(jié)構(gòu)。
僅根據(jù)單個(gè)提示詞，Phenaki就能生成一個(gè)能講故事的視頻（Story-Telling
Video)。
當(dāng)你想做一段泰迪熊動(dòng)畫時(shí)，只需輸入：
A teddy bear diving in the ocean（一只泰迪熊潛入海中）
A teddy bear emerges from the water（一只泰迪熊從水中出現(xiàn)）
A teddy bear walks on the beach（一只泰迪熊走在沙灘上）
Camera zooms out to the teddy bear in the
campfire by the beach（相機(jī)逐漸拉遠(yuǎn)至沙灘邊篝火旁的泰迪熊）
幾分鐘后，你會(huì)獲得如下視頻：
怎么樣？質(zhì)感相當(dāng)不錯(cuò)吧。
同時(shí)期，Google還推出了另一款基于擴(kuò)散模型的Imagen Video，同樣擁有高分辨率，也可以理解不同藝術(shù)風(fēng)格。不過(guò)，Imagen Video生成的視頻時(shí)長(zhǎng)相比Phenaki來(lái)說(shuō)更短。
Meta：
Make-A-Video
Meta也加入了這場(chǎng)視頻生成的卷王之戰(zhàn)中，并在2022年9月推出了Make-A-Video，時(shí)間比Google推出Phenaki & Imagen
Video剛好早了一周。
根據(jù)Meta官網(wǎng)介紹，和上述的文生視頻T2V模型不同，Make-A-Video是建立在文本生成圖像（Text
to Image，T2I）模型上的升級(jí)版本。
也就是說(shuō)，雖然Make-A-Video生成的是視頻，但它沒(méi)有用成對(duì)的文本+視頻數(shù)據(jù)訓(xùn)練，而是和文本生成圖像（Text
to Image，T2I）模型一樣，靠文本+圖像的數(shù)據(jù)對(duì)進(jìn)行訓(xùn)練，這一方面是考慮到當(dāng)前互聯(lián)網(wǎng)中的文本+視頻的數(shù)據(jù)集過(guò)少，另一方面是，可以對(duì)已經(jīng)相對(duì)成熟的T2I模型進(jìn)行重復(fù)使用。
那么，我們來(lái)看看Make-A-Video能做出哪些好玩的視頻？
1、將靜止圖像轉(zhuǎn)換成視頻
2、根據(jù)前后兩張圖片創(chuàng)建一個(gè)視頻
3、基于原始視頻生成新視頻
4、根據(jù)輸入的文字提示，生成符合語(yǔ)義的短視頻
例如，輸入“喝水的馬”
輸入“機(jī)器人在時(shí)代廣場(chǎng)跳舞”
百度：VidPress
到了國(guó)內(nèi)，百度也將文心大模型的能力運(yùn)用在智能視頻合成平臺(tái)VidPress中。
VidPress可以快速完成文字腳本、視頻內(nèi)容搜索、素材處理、音視頻對(duì)齊、剪輯等一連串“騷操作”。
VidPress內(nèi)容生產(chǎn)的三個(gè)環(huán)節(jié)
早在2021年1月，百度研究院就發(fā)布了一條由AI自主剪輯的視頻《2021年十大科技趨勢(shì)預(yù)測(cè)》，該視頻的技術(shù)支撐就是VidPress。
當(dāng)下，一方面，文娛、教育、傳媒等諸多領(lǐng)域?qū)I生成視頻具有強(qiáng)烈市場(chǎng)需求；另一方面，AI生成內(nèi)容產(chǎn)品存在變現(xiàn)困難等商業(yè)化瓶頸。而在2022年，一批高質(zhì)量文生圖模型，如DALL E、Imagen和Stable Diffusion涌現(xiàn)，這將助力AI生成內(nèi)容產(chǎn)業(yè)突破變現(xiàn)難等商業(yè)化瓶頸。
下一個(gè)明日之星？
在大模型技術(shù)領(lǐng)域，兩類公司值得關(guān)注。
1、擁有數(shù)據(jù)基礎(chǔ)和應(yīng)用場(chǎng)景的公司
以Netflix、Disney為代表的大型行業(yè)玩家為代表，這些公司積攢了數(shù)十億條會(huì)員評(píng)價(jià)，且熟知觀眾的習(xí)慣和需求。
事實(shí)上，Netflix已經(jīng)使用AI來(lái)替代標(biāo)準(zhǔn)內(nèi)容的制作，例如從影片中抽取符合用戶觀影偏好的畫面，生成電影縮略圖。
另外，今年1月31日，Netflix還發(fā)布了一支AIGC動(dòng)畫短片《犬與少年（Dog
and Boy）》。其中動(dòng)畫場(chǎng)景的繪制工作就是由AI完成的。
2、科技巨頭核心研發(fā)團(tuán)隊(duì)創(chuàng)建的初創(chuàng)公司
以O(shè)penAI、DeepMind和Meta為代表，這些公司在該領(lǐng)域有著重大影響力。它們也憑借深厚的技術(shù)背景和創(chuàng)新精神，開發(fā)出了一系列領(lǐng)先的大模型技術(shù)。
有趣的是，這些公司原本的研究人員也跳了出來(lái)，強(qiáng)強(qiáng)聯(lián)手，成立新公司。
例如，前段時(shí)間，由DeepMind和Meta的前研究人員共同創(chuàng)立的Mistral
AI，成為了資本的新“寵兒”。Mistral AI僅成立了四個(gè)星期，就獲得了一輪高達(dá)1.13億美元的種子資金。據(jù)外媒Techcrunch報(bào)道，這是歐洲生成式AI公司有史以來(lái)獲得的最大的種子輪融資。
結(jié)論
從ChatGPT到AIGC，再到如今的視頻生成模型，AI發(fā)展的速度之快令人驚嘆。
目前，在視頻生成領(lǐng)域，科技巨頭們正在爭(zhēng)先搶占領(lǐng)先地位。
不過(guò)，無(wú)論誰(shuí)來(lái)?yè)屨?，如何搶占，他們的目?biāo)都是創(chuàng)造出更加真實(shí)、高質(zhì)量的視頻。而這些技術(shù)不僅能為消費(fèi)者帶來(lái)更深度的娛樂(lè)體驗(yàn)，也將為媒體、教育、廣告等行業(yè)帶來(lái)巨大影響。
然而，這些正在更新的大模型技術(shù)也帶來(lái)了一些新的挑戰(zhàn)，如隱私問(wèn)題、數(shù)據(jù)保護(hù)以及內(nèi)容濫用問(wèn)題。這需要我們?cè)诶^續(xù)推動(dòng)技術(shù)進(jìn)步的同時(shí)，積極應(yīng)對(duì)這些挑戰(zhàn)，如制定相適應(yīng)的規(guī)范和法規(guī)，以確保技術(shù)的健康發(fā)展。
無(wú)論如何，對(duì)于大模型技術(shù)的未來(lái)，我們有理由保持樂(lè)觀。隨著技術(shù)的不斷進(jìn)步，我們期待在不久的將來(lái)看到更多的創(chuàng)新和突破。
聯(lián)系客服
