機(jī)器之心發(fā)布

觸覺(jué)具身智能，正在成為打通機(jī)器人與物理世界交互的關(guān)鍵密碼。

當(dāng)機(jī)器人執(zhí)行精細(xì)操作時(shí)，真正的考驗(yàn)往往始于接觸的瞬間：USB 插頭看似對(duì)準(zhǔn)接口，卻在插入的瞬間因毫厘之差而被卡住；當(dāng)夾爪抓住線束，稍一用力便使其偏離槽位；布料在相機(jī)視野中不過(guò)一個(gè)褶皺，真正拉動(dòng)時(shí)卻演變成張力、層疊、摩擦和滑移的復(fù)雜物理耦合。

視覺(jué)模型雖然能提供位置、輪廓和語(yǔ)義信息，但到了物理接觸的瞬間，機(jī)器人還需要知道手上發(fā)生了什么：受力是否異常，物體有無(wú)形變，夾持是否穩(wěn)定，下一步動(dòng)作要不要調(diào)整。正是為了填補(bǔ)從「看見(jiàn)」到「感知」的關(guān)鍵鴻溝，上海新智具身智能科技有限公司（NeoteAI，下稱「新智具身」）堅(jiān)定選擇了觸覺(jué)賽道，致力于深耕精細(xì)化操作這一制約機(jī)器人落地的核心難題。

近億元融資落地，政企校賦能夯實(shí)技術(shù)優(yōu)勢(shì)

近日，新智具身宣布完成近億元天使輪融資。作為公司成立以來(lái)的首輪融資，本輪由上海國(guó)投旗下上海科創(chuàng)集團(tuán)，以及復(fù)旦科創(chuàng)聯(lián)合領(lǐng)投，上海科創(chuàng)集團(tuán)旗下策源基金等共同投資，多維資本擔(dān)任獨(dú)家財(cái)務(wù)顧問(wèn)。

新智具身背靠產(chǎn)學(xué)研深度融合與地方政策雙重加持。作為復(fù)旦大學(xué)與靜安區(qū)戰(zhàn)略合作的重要落地成果，公司在初創(chuàng)期便獲得靜安區(qū)科經(jīng)委與市北高新集團(tuán)的大力培育，先后獲得靜安區(qū)戰(zhàn)略性資金及上海市經(jīng)信委促進(jìn)產(chǎn)業(yè)高質(zhì)量發(fā)展專項(xiàng)資金的支持，上海市科委也針對(duì)其核心視觸覺(jué)傳感器的研發(fā)給予了專項(xiàng)經(jīng)費(fèi)支持，全面加速公司的技術(shù)攻關(guān)進(jìn)程。

新智具身的核心團(tuán)隊(duì)源自復(fù)旦大學(xué)可信具身智能研究院，具備深厚的產(chǎn)學(xué)研融合基因。

CEO 趙世豪本碩畢業(yè)于復(fù)旦大學(xué)，博士就讀于香港大學(xué)，曾作為核心研究員在微軟全球研究院、阿里通義實(shí)驗(yàn)室深耕前沿模型研發(fā)，研究覆蓋視頻世界模型、生成式模型。

CEO 趙世豪

首席科學(xué)家吳祖煊為復(fù)旦大學(xué)可信具身智能研究院副院長(zhǎng)，曾任職 Meta，長(zhǎng)期深耕視頻模型、多模態(tài)模型等核心領(lǐng)域。

首席科學(xué)家吳祖煊

COO 董道國(guó)則是兼具學(xué)術(shù)與產(chǎn)業(yè)經(jīng)驗(yàn)的跨界人才，具有近 20 年的產(chǎn)業(yè)界經(jīng)歷，曾任華為榮耀 Magic 一代首席架構(gòu)師，現(xiàn)任復(fù)旦大學(xué)可信具身智能研究院研究員，主要為公司的技術(shù)商業(yè)化保駕護(hù)航。

COO 董道國(guó)

新智具身致力于將觸覺(jué)融入到機(jī)器人訓(xùn)練與實(shí)操的全生命周期。團(tuán)隊(duì)堅(jiān)信，在機(jī)器人和物理世界產(chǎn)生交互的環(huán)節(jié)，觸覺(jué)信息都扮演著不可或缺的關(guān)鍵角色。基于這樣的核心理念，新智具身打造出視觸覺(jué)傳感器、精細(xì)化具身數(shù)據(jù)采集平臺(tái)、觸覺(jué)具身大模型三大核心能力體系，旨在攻克機(jī)器人完成精細(xì)化操作任務(wù)這一關(guān)鍵難題。

把接觸變成可用數(shù)據(jù)

給機(jī)器人裝上觸覺(jué)，聽(tīng)起來(lái)只是多裝一個(gè)傳感器。但真正落到工程里，卻是一場(chǎng)關(guān)于感知精度與耐用性的極限挑戰(zhàn)。

傳感器要塞進(jìn)夾爪或靈巧手指尖，尺寸、走線、接口、安裝方式都要適配；柔性材料要經(jīng)得起反復(fù)按壓、摩擦和沖擊；采到的數(shù)據(jù)還要能進(jìn)入模型，而不是停留在一串難以使用的傳感器讀數(shù)。

新智具身的破局入口，是其自研的視觸覺(jué)傳感器，面向夾爪、靈巧手等末端執(zhí)行器，能夠精準(zhǔn)采集接觸過(guò)程中的力、滑移、形變和邊界信息，用于精細(xì)化操作中的數(shù)據(jù)采集與模型訓(xùn)練。

視觸覺(jué)路線的核心思路，是把接觸過(guò)程轉(zhuǎn)化為高密度視覺(jué)表征，再通過(guò)模型解耦出觸覺(jué)信息。相機(jī)看到的并非外部環(huán)境，而是傳感器內(nèi)部柔性材料在受力后的形變。模型進(jìn)一步從這些形變中推斷接觸位置、力場(chǎng)變化、滑移狀態(tài)和物體輪廓。

這條路線對(duì)軟硬件協(xié)同要求極高。傳感器內(nèi)部涉及微光學(xué)結(jié)構(gòu)、嵌入式系統(tǒng)、柔性材料和端側(cè)算法等。新智具身通過(guò)單色光、粒子方案與模型解耦技術(shù)，以降低對(duì)光照和相機(jī)的要求，也為后續(xù)成本控制留下空間，并通過(guò)材料迭代和模塊化結(jié)構(gòu)降低維護(hù)成本。

新智具身·視觸覺(jué)傳感器

新智具身的視觸覺(jué)傳感器主要由復(fù)旦可信具身智能研究院研究員陳文明及其博士生羅虎主導(dǎo)研發(fā)，這也是公司與復(fù)旦大學(xué)產(chǎn)學(xué)研融合的首個(gè)標(biāo)志性成果。目前，面向夾爪和靈巧手的系列傳感器已逐步實(shí)現(xiàn)產(chǎn)品化，不僅應(yīng)用于公司自有的數(shù)據(jù)采集平臺(tái)和觸覺(jué)具身大模型，同步已向多家主流機(jī)器人本體企業(yè)完成交付。

數(shù)據(jù)平臺(tái)：觸覺(jué)模型的「燃料工廠」

傳感器解決了觸覺(jué)數(shù)據(jù)的采集入口，數(shù)據(jù)平臺(tái)則決定樣本的規(guī)模。

語(yǔ)言模型、視覺(jué)語(yǔ)言模型的能力提升，長(zhǎng)期依賴大規(guī)模數(shù)據(jù)。具身智能模型面臨的麻煩更復(fù)雜：真實(shí)機(jī)器人稀缺、部署場(chǎng)景零散、任務(wù)類型復(fù)雜、采集成本高昂，尤其是涉及接觸和操作的數(shù)據(jù)，天然比圖像和文本更難規(guī)模化。

觸覺(jué)數(shù)據(jù)的采集難點(diǎn)在于對(duì)任務(wù)設(shè)計(jì)和設(shè)備要求更高。視覺(jué)數(shù)據(jù)可以通過(guò)相機(jī)連續(xù)記錄，觸覺(jué)數(shù)據(jù)還需要每一個(gè)末端執(zhí)行器具備觸覺(jué)感知模塊，并配合力反饋系統(tǒng)、同步采集機(jī)制和后續(xù)標(biāo)注流程。采集到的數(shù)據(jù)也不只是圖像序列，還包含接觸力、滑移、形變、紋理、輪廓等物理信息。

新智具身?大規(guī)模觸覺(jué) + 視覺(jué)的具身數(shù)據(jù)采集

新智具身搭建的精細(xì)化具身數(shù)據(jù)大規(guī)模采集平臺(tái)，正是為了解決這些痛點(diǎn)。這些數(shù)據(jù)圍繞精準(zhǔn)插拔、裝配、柔性整理等高頻精細(xì)化操作的場(chǎng)景，高效采集包含觸覺(jué)的高質(zhì)量操作數(shù)據(jù)，目前已經(jīng)形成了規(guī)模化的數(shù)據(jù)儲(chǔ)備，其價(jià)值在具身智能模型的訓(xùn)練中得到充分體現(xiàn)：比如插頭進(jìn)入接口時(shí)，阻力突然變大意味著角度可能需要調(diào)整；抓取紙杯時(shí)，局部形變過(guò)大意味著夾持力需要降低；整理布料時(shí)，張力變化會(huì)影響下一步拉動(dòng)方向。這些判斷很難靠單幀圖像完成，需要模型從連續(xù)操作中學(xué)習(xí)動(dòng)作和接觸結(jié)果之間的關(guān)系。

觸覺(jué)模型與精細(xì)操作

觸覺(jué)真正賦能具身智能，核心在于深度融入模型層，而這正是新智具身的技術(shù)王牌。

新智具身正在研發(fā)包含觸覺(jué)模態(tài)的具身大模型，目標(biāo)是將觸覺(jué)接入預(yù)訓(xùn)練具身大模型，并結(jié)合融入觸覺(jué)模態(tài)的強(qiáng)化學(xué)習(xí)技術(shù)路線，在多個(gè)精細(xì)化操作任務(wù)中取得了重大突破，精準(zhǔn)度、穩(wěn)定性與泛化能力上都達(dá)到了行業(yè)領(lǐng)先水平。

在傳統(tǒng) VLA 框架中，模型主要依賴視覺(jué)和語(yǔ)言理解環(huán)境狀態(tài)與任務(wù)目標(biāo)，再輸出動(dòng)作，面對(duì)精細(xì)操作極易因感知盲區(qū)導(dǎo)致失敗。而新智具身的 VTLA 模型可實(shí)時(shí)獲取接觸后的最真實(shí)的反饋：是否夾住、是否滑移、是否插入到位、物體是否因受力發(fā)生形變，進(jìn)而指導(dǎo)操作的完成。

世界模型的作用則更進(jìn)一步。它需要精準(zhǔn)學(xué)習(xí)動(dòng)作如何改變環(huán)境狀態(tài)，僅靠視覺(jué)勉強(qiáng)應(yīng)對(duì)剛性物體，一旦涉及柔性材料、精密裝配等精細(xì)化復(fù)雜任務(wù)，視覺(jué)捕捉的狀態(tài)信息往往非常不完善。而新智具身的觸覺(jué)世界模型，補(bǔ)齊了物理上的信息短板，在精細(xì)化場(chǎng)景中實(shí)現(xiàn)了精準(zhǔn)預(yù)測(cè)，成功率提升90% 以上。

在強(qiáng)化學(xué)習(xí)環(huán)節(jié)，新智具身將觸覺(jué)作為策略優(yōu)化的「黃金信號(hào)」。機(jī)器人執(zhí)行動(dòng)作時(shí)，如果觸覺(jué)反饋顯示夾持不穩(wěn)、阻力異常或發(fā)生滑移，策略可以被進(jìn)一步修正。對(duì)插拔、精密裝配、軟物體抓取、柔性整理這些高難度的精細(xì)任務(wù)，這類實(shí)時(shí)反饋直接決定操作的成敗，進(jìn)一步將失誤率降至趨近于零。

文中視頻鏈接：https://mp.weixin.qq.com/s/yadSZW97nANVysGlvOsBpA

新智具身?觸覺(jué)具身大模型的精細(xì)操作

從工廠任務(wù)開(kāi)始驗(yàn)證

當(dāng)前具身智能的發(fā)展，距離通用智能機(jī)器人還有很長(zhǎng)路徑。短期更清晰的商業(yè)化入口，仍在工廠和半結(jié)構(gòu)化場(chǎng)景。

無(wú)論是線束裝配還是柔性材料整理，這些高頻精細(xì)操作任務(wù)都具備幾個(gè)特點(diǎn)：接觸過(guò)程復(fù)雜、自動(dòng)化需求明確、任務(wù)邊界清晰，并且效果可以通過(guò)成功率、節(jié)拍、損傷率等指標(biāo)量化評(píng)估。對(duì)觸覺(jué)模型而言，這些場(chǎng)景既能產(chǎn)生高價(jià)值數(shù)據(jù)，也更容易驗(yàn)證模型增益。

上海本地產(chǎn)業(yè)提供了適合觸覺(jué)路線的應(yīng)用土壤。汽車、3C、家紡等產(chǎn)業(yè)對(duì)自動(dòng)化精細(xì)操作都有大量需求，許多任務(wù)無(wú)法通過(guò)簡(jiǎn)單視覺(jué)定位和固定軌跡完成，需要機(jī)器人在接觸過(guò)程中持續(xù)調(diào)整動(dòng)作。新智具身已精準(zhǔn)切入這些傳統(tǒng)視覺(jué)方案難以攻克的工業(yè)場(chǎng)景，并成功斬獲多個(gè) POC 訂單。

隨著機(jī)器人深度滲透到插拔、裝配、抓取、整理等核心任務(wù)，觸覺(jué)必將成為無(wú)法繞開(kāi)的核心要素，新智具身正以觸覺(jué)為鑰匙，打開(kāi)機(jī)器人通往真實(shí)物理世界的大門，引領(lǐng)具身智能進(jìn)入「感知無(wú)死角、操作更精準(zhǔn)」的全新階段。