現(xiàn)任英偉達高級研究科學(xué)家兼人工智能代理負責(zé)人，OpenAI曾經(jīng)的第一位實習(xí)生jim fan 認為2024年將是機器人全面崛起的第一年，以下是詳細觀點：
被問及2024年除了LLMs之外最大的事情是什么，毫無疑問的回答是機器人。距離ChatGPT具備物理人工智能代理的時刻僅有約3年。長期以來，我們一直受到莫拉維克悖論（英語：Moravec's paradox）的困擾，這是一種反直覺的現(xiàn)象，即“人類認為容易的任務(wù)對人工智能來說非常困難，反之亦然”。在這種背景下，機器人技術(shù)的迅猛發(fā)展成為2024年的焦點之一
2024年將被銘記為人工智能社區(qū)大力反擊這一詛咒的第一年。雖然我們不會立即獲勝，但我們將走上取得勝利的道路。
在2023年，我們已經(jīng)看到了未來機器人基礎(chǔ)模型和平臺的雛形：
多模式LLMs，以機械臂作為物理輸入/輸出設(shè)備：VIMA，PerAct，RvT（NVIDIA），RT-1，RT-2，PaLM-E（Google），RoboCat（DeepMind），Octo（伯克利，斯坦福，CMU）等。
機器人聯(lián)結(jié)System 1負責(zé)無意識的感覺運動控制（LLMs）和System 2負責(zé)高級推理：Eureka（NVIDIA），Code as Policies（Google）等取得巨大進步。
2023年機器人在強大硬件方面取得了驚人的進展：特斯拉Optimus@elonmusk ，F(xiàn)igure @adcock_brett，1X@ericjang11 ，Apptronik，Sanctuary，Agility+Amazon，Unitree等。
數(shù)據(jù)一直是機器人的軟肋。學(xué)術(shù)界正在共同努力策劃下一個ImageNet（人工智能深度學(xué)習(xí)取得突破的關(guān)鍵項目），比如Open X-Embodiment（RT-X）數(shù)據(jù)集。雖然尚不夠多樣，但這是邁向正確方向的一大步。
模擬和合成數(shù)據(jù)將在解決機器人靈巧性甚至整體計算機視覺問題上發(fā)揮關(guān)鍵作用。
（1）NVIDIA Isaac可以以比實時快1000倍的速度模擬現(xiàn)實。傳入的數(shù)據(jù)流隨著計算規(guī)模的增加而擴展。
（2）通過硬件加速的光線追蹤可以實現(xiàn)逼真的效果。逼真的渲染還帶有免費的地面真實注釋，如分割、深度、3D姿勢等。
（3）模擬器甚至可以將真實世界的數(shù)據(jù)擴大，創(chuàng)造更大的數(shù)據(jù)集，從而大大減少昂貴的人工演示工作。MimicGen（NVIDIA）是一個典型的例子
聯(lián)系客服
