記者 何暢

繼宣布將建成全球最大具身數(shù)據(jù)采集中心之后，京東在具身智能領(lǐng)域又有新動(dòng)作。4月16日，京東舉辦具身智能生態(tài)發(fā)布會(huì)，發(fā)布具身智能數(shù)據(jù)基礎(chǔ)設(shè)施全景圖，覆蓋“采、存、標(biāo)、訓(xùn)、評(píng)、仿、測(cè)”，自研超高清采集終端JoyEgoCam、具身大模型JoyAI-RA、具身智能數(shù)據(jù)交易平臺(tái)等先后亮相。

當(dāng)前，具身智能正在加速進(jìn)入應(yīng)用場(chǎng)景。但一個(gè)問(wèn)題在于，缺乏高質(zhì)量、可用性強(qiáng)、真實(shí)場(chǎng)景下交互的數(shù)據(jù)。由于硬件標(biāo)準(zhǔn)不一、數(shù)據(jù)采集流程分散，采集到的數(shù)據(jù)難以直接用于模型訓(xùn)練。數(shù)據(jù)、硬件、算力和模型共同限制了具身智能所能發(fā)揮的作用，以至于人們往往調(diào)侃“只能看機(jī)器人翻跟頭、轉(zhuǎn)手絹”。

一直以來(lái)，京東都在強(qiáng)調(diào)供應(yīng)鏈方面的優(yōu)勢(shì)。某種程度上來(lái)說(shuō)，隨著前述基礎(chǔ)設(shè)施的搭建和使用，京東希望打通從數(shù)據(jù)采集到模型測(cè)試的全流程閉環(huán)，將原始雜亂數(shù)據(jù)精煉為驅(qū)動(dòng)模型進(jìn)化的高價(jià)值“數(shù)據(jù)燃料”，并推動(dòng)具身智能在零售、物流、物流、工業(yè)、健康等場(chǎng)景的規(guī)模化商業(yè)落地，打造自己的“具身智能超級(jí)供應(yīng)鏈”。

京東稱，將發(fā)動(dòng)最多60萬(wàn)人進(jìn)行數(shù)據(jù)采集行動(dòng)，在兩年內(nèi)積累1000萬(wàn)小時(shí)人類真實(shí)場(chǎng)景視頻數(shù)據(jù)，由超過(guò)10萬(wàn)京東員工和50萬(wàn)外部協(xié)作人員共同參與，包括京東線下零售業(yè)態(tài)的店員、京東物流的快遞員、京東家政的保潔人員等。電廠了解到，除了采集設(shè)備，現(xiàn)階段京東也會(huì)為這些參與采集的人員提供一定的報(bào)酬。

談及當(dāng)前數(shù)據(jù)采集的難點(diǎn)，京東集團(tuán)副總裁、京東云基礎(chǔ)云業(yè)務(wù)總經(jīng)理龔義成告訴電廠，首先是如何找到對(duì)具身模型有用、可定義、可規(guī)模化的數(shù)據(jù)，“采集的數(shù)據(jù)維度很重要”。其次是大規(guī)模數(shù)據(jù)的處理，涉及很強(qiáng)的技術(shù)性和成本的控制。除此之外，還需要考慮模型數(shù)據(jù)的飛輪，“數(shù)據(jù)對(duì)模型要有效”。

會(huì)上，京東云自研的可穿戴式超高清采集終端JoyEgoCam亮相。京東方面介紹，JoyEgoCam配備4K高清攝像頭，支持60幀幀率與130度超廣角拍攝，可實(shí)現(xiàn)毫秒級(jí)動(dòng)作細(xì)節(jié)捕捉，重投影誤差小于0.2像素，整機(jī)重220克，內(nèi)置車規(guī)級(jí)6軸IMU與多傳感器融合單元，可以“即戴即采”，讓普通人也能完成專業(yè)級(jí)數(shù)據(jù)采集。而除了通過(guò)頭部設(shè)備對(duì)數(shù)據(jù)進(jìn)行采集，未來(lái)京東還將進(jìn)行手部、肢體乃至整個(gè)動(dòng)態(tài)軌跡的采集。

接下來(lái)的流程也相對(duì)清晰：經(jīng)過(guò)采集的數(shù)據(jù)進(jìn)入上傳和加工階段，匯入AI數(shù)據(jù)湖平臺(tái)后，經(jīng)PB級(jí)吞吐能力自動(dòng)完成清洗、對(duì)齊、轉(zhuǎn)換與預(yù)標(biāo)注，轉(zhuǎn)為標(biāo)準(zhǔn)訓(xùn)練集。JoyBuilder仿真平臺(tái)批量生成高逼真仿真數(shù)據(jù)，一站式實(shí)現(xiàn)人類操作數(shù)據(jù)→仿真操作數(shù)據(jù)→真機(jī)操作數(shù)據(jù)的高效數(shù)據(jù)增值轉(zhuǎn)換與泛化擴(kuò)增。治理后的數(shù)據(jù)再匯聚至JoyBuilder模型開(kāi)發(fā)平臺(tái)，自研AI算子矩陣貫穿始終，涵蓋去畸變、語(yǔ)義描述、深度重建等環(huán)節(jié)。目前，京東日處理數(shù)據(jù)量已達(dá)數(shù)十萬(wàn)條，數(shù)據(jù)有效率達(dá)95%，整體處理成本降低60%。

模型反哺數(shù)據(jù)標(biāo)注與采集，數(shù)據(jù)質(zhì)量越高，模型迭代效率與精度越高。京東方面透露，以自采數(shù)據(jù)為核心訓(xùn)練的京東具身大模型JoyAI-RA，在真機(jī)實(shí)驗(yàn)上成功率達(dá)到73.5%。

同步上線的還有京東具身智能數(shù)據(jù)交易平臺(tái)，匯聚京東業(yè)務(wù)場(chǎng)景下的多模態(tài)數(shù)據(jù)資源，支持?jǐn)?shù)據(jù)方、開(kāi)發(fā)者、應(yīng)用方多方協(xié)同。平臺(tái)首批定向開(kāi)放2000小時(shí)高精標(biāo)注數(shù)據(jù)集，技術(shù)社區(qū)也即將上線。

“京東認(rèn)為整個(gè)具身領(lǐng)域發(fā)展到今天還是一個(gè)非常早期的階段，我們希望通過(guò)這樣千萬(wàn)小時(shí)的數(shù)據(jù)采集項(xiàng)目，通過(guò)京東的微薄之力為整個(gè)行業(yè)做一點(diǎn)事，推動(dòng)整個(gè)行業(yè)快速發(fā)展，也希望各位伙伴能夠加入我們的項(xiàng)目，一起推動(dòng)具身行業(yè)繼續(xù)向前發(fā)展。”京東集團(tuán)技術(shù)委員會(huì)主席、京東云總裁曹鵬說(shuō)道。