2026年具身智能這么熱，

美國舊金山PIRobotics這家機器人創(chuàng)業(yè)公司，

你真得知道。

我也?？此麄儓F隊發(fā)的新模型，

當(dāng)然，很多國內(nèi)具身智能小伙伴，

比我關(guān)注多了，

因為這家公司走開源路線，

有些東西國內(nèi)也能跟著用。

公司投入大，工作扎實，高速發(fā)展，

是一個很好的觀察行業(yè)的“錨點”。

用新聞體說，就是，

PhysicalIntelligence是美國具身智能領(lǐng)域的翹楚，

（簡稱PI或π），他們家的模型叫π系列。

講真，機器人還沒有真正的記憶系統(tǒng)。

當(dāng)然，有些短的記憶，

也能記清楚一些事情的先后順序。

這里有兩個概念，請看漫畫：

為啥說沒有記憶系統(tǒng)呢？

要么沒法存數(shù)分鐘到數(shù)小時的任務(wù)情況（上下文），

要么堆砌大量原始數(shù)據(jù)，導(dǎo)致反應(yīng)遲緩。

這也是為什么大多數(shù)具身智能干活，

只能在“嚴格控制“幾分鐘”“短任務(wù)”里打轉(zhuǎn)，

還有說法是單點任務(wù)（技能）還行。

多個子任務(wù)串聯(lián)，

長時間，多階段就尷尬了。

也就是說，即便當(dāng)下的模型，

單步技能點數(shù)很高，

但在面對長達十幾分鐘，

跨多個階段的任務(wù)時，

它們往往表現(xiàn)得像“金魚”：

只能記住最近幾秒鐘的視覺信息（攝像頭畫面里），

一旦時間長，

即使是最先進的機器人也會丟失狀態(tài)，

導(dǎo)致錯判和重復(fù)錯誤。

機器人干活缺啥能力？

第一，先前啥狀態(tài)；

第二，規(guī)劃后續(xù)做啥動作；

第三，環(huán)境變了，怎么動態(tài)調(diào)整；

真實環(huán)境從來不簡單。

我說得很婉轉(zhuǎn)，

在文藝晚會舞臺上跳舞的機器人，

這類機器人在仿真系統(tǒng)提升能力，

技能點很單一。

而在受限環(huán)境下行動，

換個新環(huán)境干別的活，

恐怕要犯老年癡呆。

35歲以上排隊領(lǐng)雞蛋的老年人表示，

這是史上被黑的最慘的一次。

對機器人來說，和金魚一樣的記憶力是不夠的。

1.記不住過去做過啥（步驟）；

2.一件東西，攝像頭照的那個區(qū)里看不見，

以前放哪也不記得了。

PI機器人的記憶模塊，

居然是可插拔的？

是的。

我觀察PI團隊，

是在模型大版本迭代后，

才單獨推出了一個可插拔的模塊，

（叫MEM，Multi-scaleEmbodiedMemory）。

按道理，應(yīng)該和大版本一起推出，

然而并沒有。

中科視語CEO趙朝陽博士告訴我，

PI公司的模型，從π0.5到π0.6，

技術(shù)提升點很多，

記憶模塊并不在其中，

一方面是值得單獨拿出來解決，

另一個比較合理的解釋，

就是做大版本的時候，

這個模塊，還沒有準備好；

AI行業(yè)主打一個，

沖刺總在截止日期前，

每家AI公司都一樣，

好在，記憶模塊（MEM）是相對獨立的。

“記憶模塊是一個必備的技能。

所以只不過是去年這個節(jié)點上，

我們認為記憶這件事兒在具身上也可以弄了，

不像原來那樣那么虛了?！?/p>

誰不想要記憶模塊呢，

我也想要。

所以，有了記憶模塊有啥好？

以前的記憶技術(shù)要么只記細節(jié)記不住流程，

要么只記流程沒細節(jié)，

記憶模塊（MEM）直接全搞定，

還解決了兩個大問題：

第一，不卡殼。

視頻編碼器優(yōu)化了速度，

哪怕處理多攝像頭畫面，

反應(yīng)延遲也低。

第二，不翻車。

多源數(shù)據(jù)訓(xùn)練避免了“記混動作”，

加了記憶還不影響操作精度，

以前加記憶會變慢的毛病徹底根治。

說實話，這都是長期困擾業(yè)界的難題。

似乎人人都在“記憶”上下功夫，

兩個月前，開源團隊Deepseek，

也推出了人家的記憶模塊（Engram）。

市面上的知名團隊都在下“記憶力”的功夫。

看上去，“記住”將是智能的下一個拐點。

從學(xué)術(shù)到產(chǎn)業(yè)，

圍繞AI記憶能力的研究正在迅速積聚。

具身智能也沒落下。

中科紫東太初具身智能部門負責(zé)人，

劉榮博士告訴我：

“大家緊盯著VLA狂卷，

因為VLA本身的難點實在也很多?！?/p>

具身智能常用的模型類型就是，

視覺-語言-動作一體化，簡稱VLA；

俗稱技術(shù)路線。

這個類型的模型，

核心概念已經(jīng)清晰，

但方法、優(yōu)化、跨任務(wù)能力仍在優(yōu)化。

我的觀點是，該技術(shù)（模型）處于快速迭代階段，

其實目前這個架構(gòu)不錯，

紅利還沒有吃完。

所以，大家都在這條道路上狂奔。

當(dāng)然，還是得和行業(yè)一線專家聊一下。

中科紫東太初董事長王金橋，

他給了我更本質(zhì)的理解：

“這個架構(gòu)只是科研人員，

沿襲著大模型大力出奇跡的思路，

慣性探索，技術(shù)路線遠沒有定型。”

而中科紫東太初具身智能部門負責(zé)人，

劉榮博士告訴我：

“實現(xiàn)方法、跨本體跨任務(wù)能力仍要優(yōu)化?！?/p>

我又和中科視語CEO趙朝陽博士，

聊了如何兼顧研發(fā)和工程實戰(zhàn)的打法：

一種思路，要么模型（VLA），

直接輸出機器人行動，

模型把“看到的東西，

得到的指令”和“該怎么動”，

結(jié)合在一起思考+行動，

視覺模塊，讓它知道所處環(huán)境長什么樣，

語言模塊，讓它理解任務(wù)目標(biāo)，

動作模塊則把理解變成行為。

另一種思路，也是參考行業(yè)標(biāo)桿，

FigureAI的路線。

要么用VLM+VLA，

追求極致工程化，

VLM模型協(xié)調(diào)指揮，決策判斷，

VLA模型負責(zé)單步動作執(zhí)行，

如，拉開冰箱門是一個單步技術(shù)點，；

關(guān)上則可能是另一個。

而打掃客廳衛(wèi)生，就涉及到客廳多大，

窗戶多高，幾件家具之類；

打掃客廳衛(wèi)生，需要先擦玻璃、擦桌子，

再掃地，最后拖地。

沒做過保潔的人可能壓根不知道，

地，從來都是留到最后拖的。

沒搞過科研學(xué)術(shù)的人可能壓根不知道，

小環(huán)節(jié)小動作，都是“多個子任務(wù)”。

“兩個模型各負其責(zé)，

工程上也好調(diào)整?！眲s博士如是說。

美國舊金山PI機器人團隊的出發(fā)點，

是想在長程任務(wù)上做得好。

阻礙機器人做一系列任務(wù)的核心障礙，

是記憶。

何時記住？

記住什么？

如何記住？

接著，用這些記憶去指導(dǎo)，

后面行為與策略規(guī)劃。

簡單地把機器人看見的（所有視覺幀），

填進模型的上下文窗口既不現(xiàn)實，

機器人會誤把無關(guān)過去行為，

當(dāng)成當(dāng)前決策依據(jù)。

比如，機器人試圖拿起一根小筷子。

如果沒有記憶功能，

機器人往往會反復(fù)以同樣的方式失敗。

因為它不記得之前的嘗試，

所以只會重復(fù)相同的行為。

配上BGM，

估計就成了一刀不剪的B站鬼畜視頻。

而有了記憶功能，

第一次失敗后，

會設(shè)法成功拿起筷子。

于是，他們團隊為具身智能設(shè)計的記憶架構(gòu)，

就分為兩層。

第一層是短期記憶，

它記錄當(dāng)下的視覺信息，

保持機器人對環(huán)境的持續(xù)感知。

第二層是長期記憶，

它用文字形式，

保存經(jīng)驗和規(guī)則，

讓機器人能夠跨越較長時間，

保持任務(wù)狀態(tài)，

按需調(diào)整。

這里有點太技術(shù)了，

按中科視語CEO趙朝陽博士的說法，

從科研直覺去理解，

人類好久之前的記憶，

會被總結(jié)成經(jīng)驗，

——一朝被蛇咬，十年怕井繩；

人類近期（短期）記憶，

更具體，更生動，更多細節(jié)，

非洲大草原上，

沉睡中的母獅，

被黑曼巴毒蛇咬了一口下巴，

獅頭立刻腫成表情包。

學(xué)術(shù)說法是：

短期使用細節(jié)信息支持即時行為，

長期用抽象語義保持任務(wù)語境和目標(biāo)邏輯。

趙朝陽博士也聊到：

“記憶分層能設(shè)計得更細致，

長短，長中短，超長期記憶，等等。

甚至有些永遠不能被遺忘，比如安全底線。”

看來以后都可以這么玩了：

大大大記憶，小小小記憶，

久而久之，研發(fā)同學(xué)說話都結(jié)巴了，

這絕對是工傷。

細想起來，這倒是和很多年前，

阿西莫夫機器人三大定律遙相呼應(yīng)：

機器人不會傷害人類。

記憶本身是個很宏大的主題，

記憶和現(xiàn)有系統(tǒng)未來會是什么形態(tài)？

記憶不只是存下什么，

而是進化的底層動力：

1.整體目標(biāo)是什么

2.需要先做什么再做什么

3.現(xiàn)在做到哪一步了

4.這一步怎么做

5.下一步該做什么

具身智能目前在這個大趨勢上，

要做出來真正有記憶的機器人，

如何在復(fù)雜、長期任務(wù)中持續(xù)成長和自適應(yīng)。

具身智能只是會感知、會執(zhí)行，不夠。

而是會記住、會推理，

會運用過去的經(jīng)驗來塑造未來的策略。

具身智能這么熱，還有一個原因，

中科紫東太初董事長王金橋

是這么說的：

“有太多事情可以做，

或者說，根本做不過來，

原因是走得最快的是大語言模型，

那么大語言模型踩過的坑，

一定指導(dǎo)多模態(tài)大模型。

多模態(tài)模型踩過的坑，

一定指導(dǎo)具身智能大模型?！?/p>

One More thing

下內(nèi)容包含大量科研黑話和學(xué)術(shù)暴擊，

看不懂不丟人，能看完的都是狠人，

建議非戰(zhàn)斗人員提前服用冰美式。

為什么不用Transformer-XL自回歸？

答案：不用的原因有三個：

第一，必須逐步生成，每步依賴前一步輸出，

不支持并行推理，效率低。

第二，視覺幀或連續(xù)動作序列很長時處理長序列會越來越慢。

第三，缺乏直接視覺結(jié)構(gòu)建模能力。

為什么PI機器人的記憶模塊可插拔？

這個問題，趙朝陽博士給我好好講了講。

模型π0.6和π0.6*一起發(fā)布的，

加入真機強化學(xué)習(xí)，

這將會是未來一段時間VLA的主流打法。

上一種利器尚且不夠，

再把記憶模塊也加持上。

而以前，

還在用Transformer-XL做自回歸的，

現(xiàn)在都不用了。

MEM設(shè)計成可插拔不可謂不巧妙，

雙重否定表達作者非?？隙?。

MEM模型用了谷歌的Gemma3（4B），

這是在π0.5架構(gòu)基礎(chǔ)上的升級版本，

π0.5使用的是Gemma2.6。

MEM的可插拔特性主要體現(xiàn)在記憶增強模塊上，

分為短期記憶和長期記憶兩部分。

在短期記憶方面，

模型對ViT模塊進行了優(yōu)化，

使其能夠處理更多歷史觀察幀，

從而提升視覺信息的吞吐量。

具體來說，優(yōu)化主要集中在時間注意力和空間注意力結(jié)構(gòu)上，

因為MEM很新，廠商尚未開源，也可以理解。

長期記憶部分，就更重要了，

甚至可以說是最重要的“彈藥”，

那就是數(shù)據(jù)上下功夫。

用大語言模型生成訓(xùn)練數(shù)據(jù)的方式來增強。

先總結(jié)（抽象在數(shù)據(jù)里），再讓模型學(xué)習(xí)。

Datateachingand machine learning.

模型會生成類似鏈式推理的摘要和總結(jié)數(shù)據(jù)，

造數(shù)據(jù)優(yōu)化長期記憶，到底怎么做的呢？

我們認為：關(guān)鍵在于，

造一個帶摘要+總結(jié)的樣本數(shù)據(jù)，

還要跟他原本樣本的視頻幀情節(jié)時間步驟對應(yīng)上

最后，再用這些數(shù)據(jù)訓(xùn)練主干網(wǎng)絡(luò)，

（視覺-語言模型，Gemma），

這樣，長期記憶不僅能記錄下事件，

還抽象經(jīng)驗，用于后續(xù)推理。

我感慨整個設(shè)計很巧妙，

保證了短期記憶專注于即時操作信息，

而長期記憶提供跨任務(wù)的連續(xù)上下文支持。

陶大程是大曉機器人首席科學(xué)家。目前，他任職于新加坡南洋理工大學(xué)，擔(dān)任杰出大學(xué)教授。同時，澳大利亞科學(xué)院院士，歐洲科學(xué)院外籍院士，當(dāng)選IEEE、ACM、AAAS等多個國際權(quán)威學(xué)會會士。長期聚焦于將統(tǒng)計學(xué)和數(shù)學(xué)方法引入人工智能，在表征學(xué)習(xí)、計算機視覺與深度學(xué)習(xí)等方向具有奠基性貢獻。

問題一：記憶是個宏大命題，

以記憶模塊對現(xiàn)有具身系統(tǒng)的影響來看，

以您的見識，

未來會是個啥形態(tài)呢？

陶大程教授回答：未來的記憶，不會只是一個“外掛模塊”，而會成為具身系統(tǒng)的時間操作系統(tǒng)。因為ACE-Brain-0其實告訴我們，具身統(tǒng)一的難點，不在于單個技能，而在于如何把不同域、不同階段、不同粒度的知識組織起來并長期保留下來；它用spatialscaffold解決的是“跨embodiment的共享結(jié)構(gòu)”問題。與之對稱，記憶解決的其實是“跨時間的共享結(jié)構(gòu)”問題。一個解決“不同機器人/不同場景之間怎么統(tǒng)一”，一個解決“同一個機器人在不同時間怎么連續(xù)”。所以未來真正強的具身系統(tǒng)，一定不是單純的VLA，而是空間骨架+時間記憶的耦合系統(tǒng)。

因此，未來具身里的記憶形態(tài)，可能會有五層：

第一層是感知工作記憶。這層記最近幾秒到幾十秒的視覺、觸覺、位姿和交互狀態(tài)，用來處理遮擋、局部失誤、抓取重試、視野之外的短時補償。

第二層是情節(jié)記憶。它記錄“剛剛發(fā)生了什么、哪一步成功了、哪一步失敗了、失敗后換過什么策略”，服務(wù)分鐘級任務(wù)。

第三層是語義/程序記憶。它不是記細節(jié)畫面，而是記“我現(xiàn)在做到哪一步、這個任務(wù)的標(biāo)準順序是什么、這個對象通常應(yīng)該如何處理”。

第四層是空間記憶。這是ACE-Brain-0給你的重要啟發(fā)：未來記憶不能只是文本摘要，還必須帶有空間scaffold，也就是物體位置、相對關(guān)系、可達性、場景拓撲。

第五層是反事實記憶，也就是可執(zhí)行的世界表征：不是只記“過去如何”，還要能內(nèi)部模擬“未來可能如何”。這是worldmodel真正進入具身主干之后，記憶會新增的一層。

第六層是不可遺忘記憶。未來機器人一定會有一部分memory不是為了提升任務(wù)成功率，而是為了固化安全邊界、人體禁區(qū)、設(shè)備極限、規(guī)范流程。

未來的具身記憶，不是更大的contextwindow，而是“分層的、空間化的、可調(diào)用的、可修訂的、可執(zhí)行的MemoryOS”。

問題二：具身借鑒LLM經(jīng)驗，

借鑒VLM經(jīng)驗是必然的，

本質(zhì)該怎么理解？

陶大程教授回答：具身借鑒LLM/VLM，不是在借一個模型外形，而是在借一整套“如何從海量異構(gòu)數(shù)據(jù)中提煉共享先驗、再把共享先驗遷移到具體任務(wù)”的方法論。

第一層本質(zhì)，是抽象壓縮能力；

第二層本質(zhì)，是跨模態(tài)對齊能力；

第三層本質(zhì)，是空間共享能力

（ACE-Brain-0：sharedscaffold）；

第四層本質(zhì)，是自舉改進能力

（self-evolutionlearning，

為worldmodel提供了機制性側(cè)證）；

第五層本質(zhì)，是有組織的訓(xùn)練

（ACE-Brain-0）。

第三層：ACE-Brain-0給出了自動駕駛、無人機、機器人操作雖然形態(tài)不同、動作空間不同，但都依賴3D空間理解、物體布局建模、幾何關(guān)系推理和空間后果預(yù)測。

第四層：ACE-Brain-0其實也在回答，

“為什么不能所有東西一鍋燉”。

混合jointtraining會帶來長尾分布、

梯度干擾、領(lǐng)域稀釋；

順序微調(diào)又會造成災(zāi)難性遺忘。所以需要Specialize-Reconcile：

先建專業(yè)能力，最后再融合。

問題三：您的論文中曾強調(diào)，

“通用具身智能要求在異構(gòu)具身

（例如自動駕駛、機器人和無人機），

之間具備強大的泛化能力?！?/p>

具身作為前沿技術(shù)技術(shù)，

您是如何理解目前具身產(chǎn)業(yè)的？

陶大程教授回答：

第一，不能把具身產(chǎn)業(yè)只理解成，

“人形機器人產(chǎn)業(yè)”。

第二，產(chǎn)業(yè)真正的壁壘不是模型本身，

而是“經(jīng)驗回流閉環(huán)”。

產(chǎn)業(yè)中的記憶，不只是模型內(nèi)部記憶，

更是企業(yè)級經(jīng)驗記憶。

第三，產(chǎn)業(yè)落地不是單靠端到端autonomy，

而是“自動化+人類兜底+再學(xué)習(xí)”的混合系統(tǒng)。

第四，世界模型（WorldModel），

將成為產(chǎn)業(yè)主戰(zhàn)場，

支撐PhysicalAI的規(guī)?；?xùn)練。

未來PhysicalAI的真正基礎(chǔ)設(shè)施，

會包括一個可擴展、可校準、可評測、可生成數(shù)據(jù)的worldmodel。

第五，數(shù)據(jù)供給方式本身，就是產(chǎn)業(yè)路線分水嶺。

Reference:

1. Ziyang Gong, Zehang Luo, Anke Tang, et al.: ACE-Brain-0: Spatial Intelligence as a Shared Scaffold for Universal Embodiments. arXiv:2603.03198

2. Shi Fu, Yingjie Wang, Yuzhu Chen, Xinmei Tian, Dacheng Tao: A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops. ICLR 2025

（完）