作者 | 喬鈺杰
編輯 | 袁斯來
硬氪獲悉,雪夢(mèng)未來(SnowOrigin)團(tuán)隊(duì)獲得龔虹嘉、陸奇及海外機(jī)構(gòu)投資。這支北大背景團(tuán)隊(duì)以sEMG(表面肌電)運(yùn)動(dòng)神經(jīng)信號(hào)解碼技術(shù)為切入點(diǎn),通過神經(jīng)腕帶、第一視角采集設(shè)備以及自研NMH(Neural Math Hybrid)AI解碼模型,構(gòu)建新一代面向具身智能的人類操控?cái)?shù)據(jù)采集方案。
目前,隨著具身智能和Physical AI快速發(fā)展,行業(yè)對(duì)于高質(zhì)量人類操控?cái)?shù)據(jù)的需求日益增長。然而主流的數(shù)據(jù)采集方式,無論是第一視角視頻、動(dòng)作捕捉還是遙操作系統(tǒng),大多只能記錄動(dòng)作結(jié)果或空間軌跡,對(duì)于發(fā)力過程、操控意圖以及細(xì)微調(diào)整等關(guān)鍵信息覆蓋不足。
雪夢(mèng)未來的神經(jīng)腕帶手環(huán)和全景頭環(huán)等可穿戴設(shè)備,可結(jié)合肌電與運(yùn)動(dòng)神經(jīng)信號(hào)解碼技術(shù),捕捉人類與真實(shí)世界交互過程,并將其轉(zhuǎn)化為包含姿態(tài)(Pose)、力(Force)、微控制(Micro-control)的結(jié)構(gòu)化數(shù)據(jù),為機(jī)器人、世界模型及具身智能訓(xùn)練提供底層數(shù)據(jù)支撐(Data infra)。
互聯(lián)網(wǎng)時(shí)代催生了大語言模型所需的海量文本數(shù)據(jù),而Physical AI的發(fā)展則需要人類與真實(shí)世界的全模態(tài)交互數(shù)據(jù),創(chuàng)始人秦旭介紹稱,相比視頻記錄“做了什么”,肌電等神經(jīng)信號(hào)能夠進(jìn)一步反映“為什么這樣做、如何發(fā)力、過程中進(jìn)行了哪些微調(diào)”,從而幫助AI理解人與物理世界交互的本質(zhì)。
基于這一理念,雪夢(mèng)未來通過非侵入式運(yùn)動(dòng)神經(jīng)信號(hào)采集,結(jié)合Ego環(huán)境感知、空間定位與多模態(tài)同步技術(shù),將真實(shí)世界中的人類操作過程轉(zhuǎn)化為可用于模型訓(xùn)練和場(chǎng)景應(yīng)用的數(shù)據(jù)資產(chǎn),為具身智能和世界模型提供更加豐富、真實(shí)的底層數(shù)據(jù)支撐。
![]()
(圖源/企業(yè))
產(chǎn)品層面,雪夢(mèng)未來目前已推出神經(jīng)腕帶手環(huán)、全景頭環(huán)等可穿戴設(shè)備,并持續(xù)推進(jìn)新一代數(shù)采終端研發(fā),希望以輕量化、可規(guī)模部署的數(shù)據(jù)采集方案,構(gòu)建面向Physical AI時(shí)代的人類操控?cái)?shù)據(jù)基礎(chǔ)設(shè)施。
![]()
(圖源/企業(yè))
秦旭介紹稱,相較于依賴實(shí)驗(yàn)室環(huán)境的動(dòng)捕手套、外骨骼或遙操作設(shè)備,可穿戴神經(jīng)信號(hào)采集方案具備成本更低、佩戴更輕量、適合長期連續(xù)采集等優(yōu)勢(shì),不影響正常生活、工作、學(xué)習(xí),有望推動(dòng)人類具身數(shù)據(jù)實(shí)現(xiàn)規(guī)模化獲取。
模型層面,團(tuán)隊(duì)自主研發(fā)了NMH(Neural Math Hybrid)AI解碼模型,可以對(duì)sEMG(表面肌電)運(yùn)動(dòng)神經(jīng)信號(hào)進(jìn)行實(shí)時(shí)解碼,將人類操作過程中的意圖、姿態(tài)、發(fā)力趨勢(shì)、微控制以及環(huán)境上下文等信息轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù),為具身智能數(shù)據(jù)采集提供更豐富、更高質(zhì)量的數(shù)據(jù)來源。
目前,雪夢(mèng)未來正同步推進(jìn)兩條商業(yè)化路徑:一方面,為具身智能機(jī)器人、AI眼鏡等終端提供更加自然的人機(jī)交互入口,降低交互門檻、提升連續(xù)交互體驗(yàn);另一方面,建設(shè)面向Physical AI的人類具身數(shù)據(jù)基礎(chǔ)設(shè)施,為機(jī)器人訓(xùn)練、世界模型等提供底層數(shù)據(jù)服務(wù)。
團(tuán)隊(duì)方面,創(chuàng)始人秦旭畢業(yè)于北京大學(xué)計(jì)算機(jī)學(xué)院計(jì)算機(jī)應(yīng)用技術(shù)專業(yè),來自高文院士、黃鐵軍院長領(lǐng)銜的北京大學(xué)編解碼國家工程實(shí)驗(yàn)室團(tuán)隊(duì)。聯(lián)合創(chuàng)始人王智林畢業(yè)于北京航空航天大學(xué)軟件開發(fā)環(huán)境國家重點(diǎn)實(shí)驗(yàn)室,長期從事人工智能、計(jì)算機(jī)視覺方向研究,在國際頂級(jí)學(xué)術(shù)會(huì)議發(fā)表多篇論文,單篇頂級(jí)AI論文引用量2400+。
以下為硬氪與雪夢(mèng)未來創(chuàng)始人秦旭交流節(jié)選:
硬氪:Meta的神經(jīng)腕帶讓這項(xiàng)技術(shù)廣受關(guān)注,國內(nèi)也有企業(yè)在跟進(jìn),雪夢(mèng)未來的技術(shù)壁壘體現(xiàn)在哪些方面?
秦旭:很多人覺得肌電信號(hào)手環(huán)原理不復(fù)雜,但真正要把實(shí)驗(yàn)室的東西做成可量產(chǎn)、可商用的產(chǎn)品,難點(diǎn)是全方位的。
硬件層面,國內(nèi)目前常見的肌電手環(huán)大多還是8通道設(shè)計(jì),采樣率只有200到250赫茲,信噪比在二十多dB。而我們現(xiàn)在已經(jīng)做到更多通道,更高采樣率,信噪比達(dá)到43以上。而且這不僅僅是堆參數(shù)的問題,高通道數(shù)意味著更復(fù)雜的信號(hào)處理、更精密的硬件設(shè)計(jì),還要做到可穿戴設(shè)備必須的小巧、低功耗。
電極與工藝層面,金屬電極要保證高導(dǎo)電性,還要處理各種噪聲:運(yùn)動(dòng)噪聲、傳輸噪聲、接觸噪聲。而且不同人的皮膚阻抗、肌肉結(jié)構(gòu)差異巨大,信號(hào)特征完全不同。我們做了千百次的定制設(shè)計(jì)與人體實(shí)驗(yàn)迭代,才找到平衡點(diǎn)。
AI解碼模型方面,2023年我們就做出了控制交互模型,是國內(nèi)第一個(gè)把肌電信號(hào)實(shí)時(shí)解碼為手部全姿態(tài)數(shù)據(jù)的團(tuán)隊(duì)。戴上腕帶輕動(dòng)手指,模型就能還原出完整的意圖和姿態(tài),并且基于藍(lán)牙協(xié)議與各類智能設(shè)備完成交互。硬件的參數(shù)堆上去不難,難的是算法能把信號(hào)精準(zhǔn)地翻譯成動(dòng)作和意圖。
所以我們目前在硬件、軟件、AI解碼模型,三個(gè)維度都是比較領(lǐng)先的。
硬氪:公司的短期定位是“人機(jī)交互入口”,長期目標(biāo)是“具身智能數(shù)據(jù)基礎(chǔ)設(shè)施”,這兩方面目前的商業(yè)化進(jìn)展情況如何?
秦旭:人機(jī)交互方面,目前幾家頭部的AI眼鏡公司都表達(dá)了強(qiáng)烈的合作意向。
數(shù)據(jù)采集方面,目前正在經(jīng)歷范式的轉(zhuǎn)移,從異構(gòu)傳感器方案、從動(dòng)捕手套、從遙操設(shè)備,轉(zhuǎn)向可穿戴的神經(jīng)信號(hào)采集方案。這是一個(gè)全新的范式,大家現(xiàn)在在做的事情,是驗(yàn)證這個(gè)方案的有效性和可行性,然后迅速卡位。
雪夢(mèng)跟其他玩家的區(qū)別在于,這個(gè)賽道還沒火的時(shí)候,我們已經(jīng)深耕了三年。我們是國內(nèi)第一個(gè)把肌電信號(hào)做手部姿態(tài)還原的,第一個(gè)做控制交互模型的,第一個(gè)推動(dòng)八通道和更多通道肌電手環(huán)量產(chǎn)的。現(xiàn)在范式轉(zhuǎn)移的窗口已經(jīng)打開,驗(yàn)證階段基本完成,正處于卡位的關(guān)鍵期。
首頁圖源 | 企業(yè)供圖
排版|范馨雅
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.