2024 年人形機(jī)器人最具突破性的進(jìn)展主要體現(xiàn)在具身智能領(lǐng)域：3 月，Covariant 發(fā) 布端到端具身大模型 RFM-1，具身智能創(chuàng)業(yè)團(tuán)隊(duì) Sergey Levine 和 Chelsea Finn 創(chuàng) 立 Pi（Physical Intelligence），F(xiàn)igure AI 發(fā)布接入 OpenAI GPT-4V 的 Figure 01 demo。4 月，李飛飛創(chuàng)立 World Labs，致力于解決 AI 在三維空間感知和理解方面的 難題。5 月，特斯拉發(fā)布視頻，展示 Optimus 精準(zhǔn)分揀特斯拉電動(dòng)車(chē) 4680 電池的場(chǎng) 景，使用完全端到端神經(jīng)網(wǎng)絡(luò)，只利用 2D 攝像頭視頻和機(jī)載自傳感器，直接生成關(guān) 節(jié)控制序列，完全靠視覺(jué)輔助和人類示范進(jìn)行訓(xùn)練。國(guó)內(nèi)人形機(jī)器人產(chǎn)業(yè)硬件供應(yīng)鏈 優(yōu)勢(shì)明顯，在具身智能、數(shù)據(jù)采集、人才領(lǐng)域的短板需要補(bǔ)齊。

分層端到端是目前具身智能的主要路徑。大模型分為非具身大模型（基礎(chǔ)大模型）、 具身智能大模型（機(jī)器人大模型），區(qū)別是能否生成運(yùn)動(dòng)姿態(tài)。非具身大模型如 GPT、 Sora 等，輸入和輸出的模態(tài)都是語(yǔ)言、圖片和視頻。具身智能大模型輸入視覺(jué)、語(yǔ) 言信號(hào)，輸出三維物理世界的操作，其中，端到端的具身大模型對(duì)數(shù)據(jù)和算力要求高， 如 Tesla FSD、谷歌 RT 模型；Figure AI 等大多數(shù)公司都采取了分層端到端的具身 大模型，一般分為三層：基礎(chǔ)大模型（LLM 或 VLM）、決策大模型、操作大模型，其中 決策大模型以 ChatGPT for Robotics、谷歌 PaLM-E 為代表，技術(shù)方向從 LLM 向強(qiáng) 化學(xué)習(xí)（RL）演進(jìn)，基于 RL 的范式可以使模型能夠在不同環(huán)境和任務(wù)中學(xué)習(xí)和適應(yīng)， 實(shí)現(xiàn)更高級(jí)的決策能力。操作大模型根據(jù)決策大模型的輸出執(zhí)行具體動(dòng)作，需要與機(jī)器人硬件深度集成，且必須通過(guò)數(shù)據(jù)采集來(lái)實(shí)現(xiàn)，技術(shù)方向從“MPC+WBC”向“RL+仿 真”演進(jìn)，MPC 更適合具有精確模型和短期優(yōu)化目標(biāo)的場(chǎng)景，RL 更適用于不確定性 高、需要長(zhǎng)期學(xué)習(xí)和自適應(yīng)的環(huán)境。在操作大模型領(lǐng)域，大多數(shù)廠商都剛起步。

數(shù)據(jù)采集的主要方式：遠(yuǎn)程操作、仿真合成數(shù)據(jù)。互聯(lián)網(wǎng)上各類文本、圖像和視頻數(shù) 據(jù)集龐大，機(jī)器人的場(chǎng)景和交互有價(jià)值的數(shù)據(jù)量小，限制了 AI 模型在人形機(jī)器人上 的泛化能力。特斯拉 Tesla Bot 開(kāi)發(fā)團(tuán)隊(duì)使用人類的真實(shí)運(yùn)動(dòng)方式來(lái)訓(xùn)練機(jī)器人，英 偉達(dá)推出 MimicGen 和 Robocasa 模型，通過(guò)真人的遙操作數(shù)據(jù)捕獲，再通過(guò)生成合成運(yùn)動(dòng)數(shù)據(jù)和模擬環(huán)境，加速機(jī)器人技術(shù)的研發(fā)和應(yīng)用。國(guó)內(nèi)人形機(jī)器人創(chuàng)新中心加速建設(shè)人形機(jī)器人訓(xùn)練場(chǎng)。

具身智能估值邏輯：硬件、數(shù)據(jù)、模型、人才。硬件是一切的基礎(chǔ)，如果沒(méi)有自己的 硬件，就無(wú)法根據(jù)算法和數(shù)據(jù)進(jìn)行硬件的快速優(yōu)化和修改。涉及數(shù)據(jù)的采集、組織管 理以及與模型的閉環(huán)開(kāi)發(fā)，需要有強(qiáng)大組織能力的團(tuán)隊(duì)，核心團(tuán)隊(duì)需要具備組織大規(guī)模工程師的經(jīng)驗(yàn)；越來(lái)越多的算法陸續(xù)開(kāi)源，開(kāi)源算法可以提供基礎(chǔ)的功能和技術(shù)， 但要實(shí)現(xiàn)高質(zhì)量、高性能的人形機(jī)器人，需要專業(yè)的算法團(tuán)隊(duì)進(jìn)行深入研究和開(kāi)發(fā)。

附件：機(jī)器人的大腦—具身智能，生成運(yùn)動(dòng)姿態(tài)，實(shí)現(xiàn)更高級(jí)的決策能力