2024年，強(qiáng)化學(xué)習(xí)奠基人理查德·薩頓與他的導(dǎo)師安德魯·巴托共同獲得了圖靈獎(jiǎng)。

這個(gè)獎(jiǎng)項(xiàng)來(lái)得不算早。過(guò)去三十年，薩頓的理論支撐了AlphaGo、ChatGPT等系統(tǒng)的進(jìn)化，但他三十年前寫(xiě)下的理論，直到今天才被具身智能行業(yè)真正理解：

智能體要從試錯(cuò)中學(xué)習(xí)，要從真實(shí)經(jīng)驗(yàn)里進(jìn)化。

2023年，薩頓參與創(chuàng)辦非營(yíng)利研究機(jī)構(gòu)Openmind。2025年4月，薩頓在聯(lián)合發(fā)表的文章《歡迎來(lái)到經(jīng)驗(yàn)時(shí)代（Welcome to the Era of Experience）》中，再次一針見(jiàn)血地指出：

“新一代智能體，必須擁有像人類(lèi)一樣在長(zhǎng)時(shí)間尺度上不斷推進(jìn)的經(jīng)驗(yàn)流，在真實(shí)的物理反饋中實(shí)現(xiàn)自我進(jìn)化?！?/p>

這一次，除了理論之外，薩頓把目光投向了更遠(yuǎn)的地方。

今年5月，薩頓與他山科技在加拿大正式簽約，以長(zhǎng)期合作的形式共同推進(jìn)一個(gè)名為“機(jī)器人幼兒園”的項(xiàng)目。

一位圖靈獎(jiǎng)得主，與一家中國(guó)觸覺(jué)公司一拍即合，共同為具身智能的下一個(gè)十年提前做出了判斷：訓(xùn)練機(jī)器人的全新路徑，也許就在真實(shí)的觸摸與試錯(cuò)之中。

具身智能，缺的是“第一人稱經(jīng)驗(yàn)”

他山科技CEO馬揚(yáng)給出了一個(gè)很直白的判斷。機(jī)器人要干活，無(wú)非解決兩個(gè)問(wèn)題：一個(gè)是機(jī)器人自己在物理世界的里移動(dòng)，通過(guò)雙足、四足、輪式等途徑，很多公司都在做。

另一個(gè)就是操作目標(biāo)物體，用手去抓、去放、去擰，行為流暢且不會(huì)被上一個(gè)動(dòng)作的偏差打斷。這兩件事加起來(lái)，基本能覆蓋目前人類(lèi)需要機(jī)器人做的90%-95%的工作。

從一開(kāi)始，他山科技想的就是從觸覺(jué)切入，做好后面這件事。

2017年他山科技剛成立的時(shí)候，大多數(shù)機(jī)器人廠商都在做移動(dòng)平臺(tái)，展示的是跑跳翻滾的能力。然而，人類(lèi)90%以上的物理交互，其實(shí)是通過(guò)手指完成的。手指不像腿，它要一直和不同的目標(biāo)物體接觸，感知、決策、調(diào)整，是一個(gè)難而持續(xù)的過(guò)程。

把具身智能的“手指位置”解決好，觸覺(jué)感知能力是一個(gè)核心變量，也是“讓機(jī)器人干活”的底層方法論。在這條路上，他山科技一做就是將近十年。

具身智能的主流訓(xùn)練方向，依賴的是靜態(tài)數(shù)據(jù)集下端到端的模仿，就像在套用題庫(kù)。人類(lèi)演示的數(shù)據(jù)，本質(zhì)上是第二人稱經(jīng)驗(yàn)，機(jī)器人在學(xué)習(xí)人的做法，但不能親手“摸”出來(lái)，也就無(wú)法理解物理世界的運(yùn)作規(guī)律。

他山科技很早就意識(shí)到這條路線面臨的問(wèn)題：正如人類(lèi)幼年時(shí)需要從模仿和實(shí)踐中成長(zhǎng)，機(jī)器人“啟蒙”訓(xùn)練需要的不僅是模仿，更是屬于自己的第一人稱經(jīng)驗(yàn)。

在行動(dòng)中感知后果、在反饋中調(diào)整行為的訓(xùn)練方式，可能是最接近能讓具身智能進(jìn)行“自我訓(xùn)練”的方法論。

這個(gè)判斷，與薩頓的想法不謀而合。

薩頓提出的“經(jīng)驗(yàn)流”概念，要求智能體的學(xué)習(xí)過(guò)程與行為過(guò)程完全融合，每一次行動(dòng)都是數(shù)據(jù)采集，每一次反饋都是訓(xùn)練信號(hào)。因此，能提供第一人稱體驗(yàn)的真實(shí)環(huán)境，是這個(gè)概念落地的關(guān)鍵。

然而，它長(zhǎng)期停留在理論層面，也正是因?yàn)檎鎸?shí)的物理環(huán)境提供不了低成本、高頻率、標(biāo)準(zhǔn)化的交互反饋。長(zhǎng)期以來(lái)，具身智能行業(yè)都在致力于解決大腦與眼睛的問(wèn)題，缺少一個(gè)能夠精準(zhǔn)感知物理接觸的通道。

觸覺(jué)是物理交互中最核心的感知通道。機(jī)器人接觸一個(gè)物體的時(shí)候，觸覺(jué)傳感器能夠?qū)崟r(shí)反饋接觸點(diǎn)的三維力分布、物體的局部形變以及滑移趨勢(shì)。有了這些信息，機(jī)器人才能迅速調(diào)整力量、角度，決定收緊或者放松。

高精度的觸覺(jué)感知技術(shù)不斷涌現(xiàn)，補(bǔ)齊了機(jī)器人曾經(jīng)缺失的“傳入神經(jīng)”，薩頓為代表的理論先驅(qū)也開(kāi)始重點(diǎn)關(guān)注這一領(lǐng)域。2025年11月，薩頓在中國(guó)走訪，主動(dòng)聯(lián)系參訪的兩家具身智能企業(yè)之一，就是他山科技。

薩頓走訪他山科技

他山科技是觸覺(jué)感知賽道上技術(shù)儲(chǔ)備最完整的公司。

他山科技自研的觸覺(jué)傳感器，力分辨率達(dá)到0.01N，這個(gè)精度“類(lèi)似一根頭發(fā)絲掉到手指上的力”。憑借在AI觸覺(jué)感知技術(shù)及全棧觸覺(jué)解決方案的多年研發(fā)，攻克了觸覺(jué)多維感知信號(hào)同時(shí)解析的全球技術(shù)難題，構(gòu)建起“芯片-傳感器-算法模型-場(chǎng)景應(yīng)用”的完整技術(shù)體系。

當(dāng)大多數(shù)觸覺(jué)傳感器廠商還停留在單一維度的力測(cè)量或簡(jiǎn)單的電容變化時(shí)，他山科技已經(jīng)實(shí)現(xiàn)了三維力、材質(zhì)識(shí)別、接近覺(jué)和協(xié)同感知等同步解析。

更重要的是，他山科技把觸覺(jué)感知能力做到了量產(chǎn)，過(guò)去兩年里，他們的產(chǎn)品已經(jīng)進(jìn)入商業(yè)化階段，開(kāi)始為主流靈巧手廠商批量交付。2025年，他山科技占據(jù)人形機(jī)器人觸覺(jué)傳感器賽道超過(guò)80%的市場(chǎng)份額。

TS-VT視觸融合訓(xùn)練平臺(tái)

薩頓在他山科技參觀后，雙方快速推進(jìn)合作，除了方法論契合之外，也是因?yàn)樵谒娇萍嫉拇髽抢?，他看到了一個(gè)已經(jīng)把觸覺(jué)感知從實(shí)驗(yàn)室推向了產(chǎn)業(yè)落地的團(tuán)隊(duì)。

于是，在強(qiáng)化學(xué)習(xí)理論發(fā)布三十年之后，理論與技術(shù)在具身智能領(lǐng)域?qū)崿F(xiàn)了雙向奔赴：學(xué)術(shù)泰斗找到了能夠?qū)⒗碚摴こ袒拿擞?，他山科技補(bǔ)上了觸覺(jué)加速機(jī)器人訓(xùn)練的理論拼圖。

機(jī)器人幼兒園，在真實(shí)環(huán)境中“啟蒙”

雙方合作的落腳點(diǎn)，具體形態(tài)而言就是“機(jī)器人幼兒園”。

在他山科技，薩頓看到中國(guó)的小學(xué)生上機(jī)器人課，驚嘆于國(guó)內(nèi)的具身啟蒙環(huán)境如此開(kāi)放，人與機(jī)器人能夠更自然地相處，機(jī)器人幼兒園的想法由此萌生。

機(jī)器人幼兒園是一套面向機(jī)器人持續(xù)學(xué)習(xí)的觸覺(jué)與多模態(tài)經(jīng)驗(yàn)訓(xùn)練平臺(tái)，它把真實(shí)物理環(huán)境、仿真環(huán)境、多臺(tái)機(jī)器人本體、觸覺(jué)與多模態(tài)感知設(shè)備、任務(wù)課程、數(shù)據(jù)采集和評(píng)測(cè)機(jī)制整合在一起，讓機(jī)器人在反復(fù)接觸、嘗試、失敗和修正中形成可訓(xùn)練的經(jīng)驗(yàn)。

為什么叫幼兒園？馬揚(yáng)說(shuō)，現(xiàn)在的具身智能很像一個(gè)0到3歲階段的嬰兒。我們?cè)谝曨l里看到機(jī)器人能做到各種事情，覺(jué)得很厲害，實(shí)際上成功率并不高，而且它自己也不知道自己是成功還是失敗。“它只是做出來(lái)了，人們就會(huì)鼓掌”。

人類(lèi)的正確示范，其實(shí)很難讓機(jī)器人理解到自己做對(duì)了什么。因?yàn)椤罢_”這件事很模糊，在一個(gè)很大的范圍內(nèi)。只有錯(cuò)誤是有邊界的，足夠多的錯(cuò)誤實(shí)驗(yàn)，才能讓一個(gè)機(jī)器人知道任務(wù)的邊界在哪里，下一次操作時(shí)應(yīng)該如何調(diào)整。

“具身智能的安全感也不是大家一起畫(huà)一條線界定出來(lái)的，而是它在客觀交互中逐步探索出來(lái)的。”

馬揚(yáng)深信，就像人的安全本能不僅是靠閱讀手冊(cè)獲得的，也是在一次次接觸、跌倒、調(diào)整中長(zhǎng)出來(lái)的，機(jī)器人也一樣，只有通過(guò)足夠多的真實(shí)試錯(cuò)，它才能理解什么是不安全的。如果機(jī)器人能自己劃出安全的操作邊界，既保護(hù)了機(jī)器人自身，也能演繹出對(duì)他人的安全性。

薩頓參訪他山科技后，雙方就合作事項(xiàng)快速推進(jìn)，2026年5月11日完成了簽約。

簽約儀式上，薩頓談到合作的意義：“早在我們讀研究生的時(shí)候，就有人提出制造一個(gè)像嬰兒一樣的機(jī)器人，讓它與世界互動(dòng)并通過(guò)經(jīng)驗(yàn)成長(zhǎng)。這個(gè)想法在當(dāng)時(shí)幾乎不可能實(shí)現(xiàn)，現(xiàn)在我們有了足夠的算力，也有了足夠多的機(jī)器人經(jīng)驗(yàn)，但我認(rèn)為一直缺失的關(guān)鍵因素，是明確認(rèn)識(shí)到這個(gè)理想的價(jià)值。它需要的不只是資金，更重要的是時(shí)間和堅(jiān)持。”

薩頓表示，在參訪他山科技的時(shí)候，他驚喜地發(fā)現(xiàn)，這家中國(guó)公司理解到了這一點(diǎn)。整個(gè)合作計(jì)劃是五年的周期，目標(biāo)是找到最適合具身智能的學(xué)習(xí)方法論。

簽約儀式現(xiàn)場(chǎng)

接下來(lái)，“機(jī)器人幼兒園”將搭建真實(shí)環(huán)境，放置機(jī)器人本體在其中完成訓(xùn)練。盡管初期以同構(gòu)本體的形式訓(xùn)練，馬揚(yáng)相信，在持續(xù)學(xué)習(xí)的探索之下，異構(gòu)的機(jī)器人在后期不會(huì)成為太大的學(xué)習(xí)障礙。因?yàn)橐粋€(gè)智能體如果理解了任務(wù)的底層邏輯，本體形態(tài)不同，也不會(huì)阻礙學(xué)習(xí)和經(jīng)驗(yàn)的傳遞。

與之相比，現(xiàn)在更重要的是直面真實(shí)的環(huán)境變量。

馬揚(yáng)直言，具身智能行業(yè)的硬件已經(jīng)達(dá)到了60分的水平，欠缺的是推理能力和持續(xù)學(xué)習(xí)的能力。缺少這兩樣能力，就沒(méi)法做到更好的泛化和演繹，整個(gè)行業(yè)會(huì)被拖著去卷參數(shù)，找不到更廣闊的應(yīng)用空間。

因此，早期學(xué)習(xí)必須與真實(shí)環(huán)境不斷交互，搭建的訓(xùn)練環(huán)境不能再刻意回避真實(shí)場(chǎng)景中的變量和不利因素，否則，機(jī)器人學(xué)到的經(jīng)驗(yàn)天花板很低，很難再向前走。

他山科技與薩頓之間的合作，也是為了找到一套新的路徑。"在這件事情上，沒(méi)有什么高科技，只有方法論的選擇。"

商業(yè)化的前提，是能“邊干活邊學(xué)習(xí)”

方法論最終還是要在應(yīng)用場(chǎng)景里檢驗(yàn)。馬揚(yáng)對(duì)于商業(yè)化落地也有一個(gè)很務(wù)實(shí)的判斷：未來(lái)三到五年，具身智能最可能率先進(jìn)入的，不會(huì)是那些高邏輯性、高時(shí)效要求的場(chǎng)景。

它更適合替代一類(lèi)特定的工作：人不想干，容錯(cuò)率又不能太低。

這類(lèi)工作有三個(gè)特征：任務(wù)重復(fù)，但不是完全固定的流水線；對(duì)成功率要求非常高，失敗一次可能就會(huì)直接中斷，需要強(qiáng)人工干預(yù)；單次任務(wù)的時(shí)效要求相對(duì)寬松，不需要秒級(jí)響應(yīng)。

馬揚(yáng)舉了幾個(gè)例子：一個(gè)是服務(wù)業(yè)場(chǎng)景，北美餐館里的洗碗工。他們的工作是把碗碟沖一下，放進(jìn)洗碗機(jī)，動(dòng)作很簡(jiǎn)單，但枯燥繁重。目前，美國(guó)有幾百萬(wàn)人在這個(gè)崗位上，機(jī)器人如果能把這個(gè)動(dòng)作的成功率做到足夠高，就能釋放巨大的商業(yè)價(jià)值。同時(shí)，洗碗這個(gè)任務(wù)沒(méi)有太高的時(shí)效要求，一晚上洗完就行。但對(duì)成功率的要求很高，打碎一個(gè)碗，整個(gè)流程就得停下來(lái)。

農(nóng)業(yè)加工領(lǐng)域有一個(gè)更具體的案例。潛江的小龍蝦加工廠里，“小龍蝦去頭”這個(gè)步驟一直要靠人來(lái)完成。因?yàn)樾↓埼r大小不一樣，殼的軟硬度隨季節(jié)變化，對(duì)設(shè)備的觸覺(jué)感知技術(shù)要求很高。一個(gè)工廠每年在這道工序上的人力成本高達(dá)數(shù)千萬(wàn)元，高峰時(shí)段，一兩千人在產(chǎn)線上干活。

他山科技花了半年時(shí)間，先做模仿學(xué)習(xí)和仿真訓(xùn)練，再讓機(jī)器人在真實(shí)產(chǎn)線上用強(qiáng)化學(xué)習(xí)反復(fù)自主練習(xí)。最終把剝蝦成功率提到了95%以上，在高效去除蝦頭的同時(shí)完整保留蝦黃，提高產(chǎn)品價(jià)值結(jié)構(gòu)。目前，他山科技智能化剝蝦設(shè)備已經(jīng)與頭部小龍蝦加工企業(yè)達(dá)成合作，首期簽約100臺(tái)。

他山科技智能化剝蝦設(shè)備

這些場(chǎng)景的選擇邏輯很清晰。機(jī)器人目前還不能去和人比推理速度，但很適合去填補(bǔ)那些自動(dòng)化做不了、人又不愿意干的缺口。觸覺(jué)感知?jiǎng)t是解鎖這些場(chǎng)景的鑰匙。因?yàn)樗峁?shí)時(shí)反饋，機(jī)器人可以在執(zhí)行過(guò)程中靈活調(diào)整力度和角度，不需要完美預(yù)設(shè)的軌跡。

如果行業(yè)內(nèi)的大部分精力都放在訓(xùn)練機(jī)器人去模仿人，那么具身智能的“天花板就是人本身”。要突破這個(gè)天花板，需要整個(gè)行業(yè)一起探索。

馬揚(yáng)一直強(qiáng)調(diào)，比起他山科技自身的壁壘，他更希望看到的是有更多同行加入進(jìn)來(lái)，一起往正確的方向去推動(dòng)。他山科技和薩頓希望要建立一個(gè)開(kāi)放、共享的研發(fā)基礎(chǔ)設(shè)施，吸引全球?qū)W術(shù)界和產(chǎn)業(yè)界共同探索具身智能持續(xù)學(xué)習(xí)的方法論。

現(xiàn)階段，他山科技和薩頓作為發(fā)起方會(huì)聚焦于把平臺(tái)搭起來(lái)。而未來(lái)，整個(gè)體系將逐步面向行業(yè)開(kāi)放，他山科技的產(chǎn)業(yè)鏈上下游、全球高校、科研機(jī)構(gòu)可能都會(huì)成為這個(gè)合作項(xiàng)目中的生態(tài)伙伴。

觸覺(jué)感知與持續(xù)學(xué)習(xí)的結(jié)合，正在為具身智能的下一個(gè)十年鋪路。

薩頓的答案，已經(jīng)寫(xiě)在了真實(shí)經(jīng)驗(yàn)流的設(shè)想中。而他山科技即將用一座機(jī)器人幼兒園，把這個(gè)答案變成可執(zhí)行的工程方案，讓具身智能在真實(shí)的物理世界中，學(xué)會(huì)在“錯(cuò)誤”中成長(zhǎng)。