无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網易首頁 > 網易號 > 正文 申請入駐

騰訊Robotics X開源HyVLA-0.5:基于亞毫米級指套UMI與真機強化

0
分享至

機器之心編輯部

6 月 15 日,騰訊 Robotics X、福田實驗室與混元團隊聯合發布面向真實世界機器人操作任務的端到端具身智能模型Hy-Embodied-0.5-VLA(簡稱HyVLA-0.5)。HyVLA-0.5 基于自研的亞毫米級高精度指套式 UMI 數據采集軟硬件(專利:2025020117CN),構建了超過 10000 小時的人類示教數據,使模型在監督訓練階段無需任何遙操作數據,也能在多本體真機任務中取得高部署成功率;基于純自研 UMI 數據訓練的模型,HyVLA-0.5 在 RoboTwin 2.0 仿真基準的簡單與復雜設置下均超過 90%,是目前該榜單上 SOTA 的開源 VLA 模型。

在此基礎上,HyVLA-0.5 首次將 Proximalized Preference Optimization(PRO)系統性引入基于流匹配的 VLA 強化后訓練,充分利用真實機器人失敗數據,實現真實機器人任務接近 100% 的成功率。



視頻鏈接:https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

隨著 VLA 模型在機器人連續控制中展現出越來越強的潛力,業界也逐漸意識到,通用機器人能力的形成不能只依賴更大的模型或更強的策略。真實機器人部署需要數據、模型、預訓練、后訓練和執行系統協同設計,既要能學習復雜操作技能,也要能在真實硬件約束下穩定運行。

HyVLA-0.5 正是在這一背景下提出,目標是推動 VLA 從模型能力驗證走向可持續迭代、可跨本體遷移、可真實部署的機器人系統。



Hy-Embodied-0.5-VLA 的整體系統架構,涵蓋數據采集、模型架構、跨本體監督微調、強化學習后訓練等關鍵環節,體現了其從數據到模型再到策略優化的全棧式設計。

  • 項目:https://tairos.tencent.com/openSourceModels/hy-embodied-0.5-vla
  • 代碼:https://github.com/Tencent-Hunyuan/Hy-Embodied-0.5-VLA
  • 數據:https://huggingface.co/datasets/tencent/Hy-Embodied-0.5-VLA-Data

一套覆蓋 “從數據到落地” 的機器人學習棧

高精度 UMI 數據采集軟硬件:構建萬小時具身數據基礎

數據是機器人基礎模型能力的根基。HyVLA-0.5自研了高精度指套式 UMI 數據采集裝置,并配套運動捕捉定位,實現了面向人類示教的高保真數據采集。該裝置不僅能夠記錄第一視角視覺信息,還能通過外部光學運動捕捉系統獲得亞毫米級 6-DoF 軌跡標注;部分夾爪還集成了末端力 / 力矩傳感能力,使數據天然包含可用于力感知、力控學習的物理交互信息。

基于這套自研采集系統,HyVLA-0.5 構建了超過10,000 小時、覆蓋 70 類任務、超過 100 萬條 episode 的 Hy-UMI-10K 數據集。該數據集涵蓋廚房、洗衣、收納、清潔、工具使用、柔性物體操作等多類日常場景,為學習精細操作、長程任務和跨場景泛化提供了規?;A。HyVLA-0.5 計劃開放其中 2,000 小時自采 UMI 數據,與學術界和產業界共同推進高質量機器人數據、評測與模型訓練范式的共研共建。



自研 UMI 數據采集工作站



自采 Hy-UMI-10K 數據集組成

模型架構:基于 Hy-Embodied-0.5 引入行動、記憶和跨本體能力

在模型側,HyVLA-0.5 基于騰訊 Robotics X 和混元聯合自研的Hy-Embodied-0.5 具身視覺語言模型進行擴展,將其面向視覺語言理解的能力進一步連接到機器人連續控制。系統引入基于流匹配的行動專家模塊,直接生成連續動作軌跡;同時通過雙塔結構將視覺語言理解與動作生成解耦,使語義感知、空間理解和底層控制能夠在統一框架中協同工作。

為了支持真實機器人中的時序感知,HyVLA-0.5 進一步設計了一個緊湊記憶編碼器,將多幀、多視角視覺歷史壓縮為緊湊的當前幀表示,從而在不顯著增加視覺 token 數量的情況下引入短時記憶。系統還采用增量式動作塊表示,讓策略預測相對于當前末端執行器狀態的增量動作,從而降低對特定機器人關節結構和運動學的依賴,為后續跨本體遷移和統一部署奠定基礎。



HyVLA-0.5 模型架構。MoT 架構搭建,借助共享聯合注意力機制實現多模態信息交互,圖像編碼器被拓展為輕量化記憶編碼器,沿用 Hy-Embodied-0.5 模型的設計思路,引入局部雙向注意力對多視角觀測信息建模。

持續預訓練與監督微調:從 UMI 行動先驗到同本體 / 跨本體真機任務

在訓練流程上,HyVLA-0.5 首先在 Hy-UMI-10K上進行持續預訓練,學習來自大規模人類示教的通用行動先驗。隨后,系統在下游任務上進行監督微調,并將真實機器人評測組織為兩條互補的 SFT trackTrack-A面向目標機器人適配,即在同一機器人平臺上采集示教并部署評測;Track-B面向 UMI-only 跨本體遷移,即只使用任務相關 UMI 示教進行微調,不采集目標機器人遙操作數據,隨后部署到形態不同的真實機器人上。

這一設計使 HyVLA-0.5 能夠同時驗證兩類關鍵能力:一方面,在 Track-A 中評估模型在目標機器人上的精細適配能力;另一方面,在 Track-B 中評估高精度 UMI 數據和預訓練行動先驗是否能夠跨越人類手持采集裝置與不同機器人平臺之間的本體差異。

實驗顯示,UMI 預訓練不僅在仿真任務中帶來穩定增益,在真實機器人任務中收益更為顯著,尤其有助于提升精細操作中的關鍵動作預測質量。更重要的是,高精度 UMI 數據不僅可用于大規模持續預訓練,也可以直接作為下游任務的后訓練 / 微調軌跡,使模型在無需目標機器人遙操作數據的條件下,仍能在跨本體真機任務中取得較好的部署成功率。



視頻鏈接:https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

FlowPRO 強化學習后訓練:將真實失敗案例轉化為快速策略提升

在后訓練階段,團隊引入FlowPRO,將Proximalized Preference Optimization(PRO)首次系統性應用到基于流匹配的 VLA 的真實機器人后訓練中。與依賴人工設計獎勵或學習判別模型的方法不同,FlowPRO 通過真實機器人執行中的干預與回滾機制,直接采集成對的失敗軌跡和成功糾正軌跡,并將其轉化為可用于離線偏好優化的訓練信號。

FlowPRO 的核心是 RPRO loss:它在連續動作生成的流匹配目標中直接對比偏好動作與非偏好動作,使策略在每個狀態上向成功糾正動作靠近、遠離失敗動作;同時通過近端正則項約束策略更新,抑制隱式獎勵漂移,降低獎勵黑客和災難性遺忘風險。實驗中,FlowPRO 在 Bottle、Cap、USB、Zip 等四個真實雙臂任務上持續優于 DAgger 和 PI0.6 * 方案,并在三輪后訓練后將多項任務成功率推進到接近天花板水平。



視頻鏈接:https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

真機部署:異步推理與軌跡平滑支撐高頻閉環控制

真實部署是從模型走向機器人系統的最后一環。HyVLA-0.5 面向不同機器人平臺設計了跨機器人形態的平臺映射機制,將模型輸出的末端增量動作映射到目標機器人坐標系和逆運動學求解過程,使同一策略接口能夠服務于固定基座雙臂、類人形機器人等不同形態。

同時,HyVLA-0.5 實現了異步推理與執行框架,將高容量 VLA 的前向推理和機器人伺服執行解耦,通過動作指令緩沖區在推理線程與執行線程之間持續傳遞動作指令,從而減少推理延遲對機器人連續運動的影響。針對基于動作塊策略容易出現的動作邊界不連續問題,系統進一步引入延遲感知的三次貝塞爾軌跡拼接方法,在無需額外訓練控制器的情況下實現平滑、連續的高頻執行。



視頻鏈接:https://mp.weixin.qq.com/s/RpbFcoo28yHdNvPQjaUX4g

基準測評:邁向可部署通用機器人學習棧

在 RoboTwin 2.0 仿真基準上,HyVLA-0.5 在 Clean 和 Randomized 設置中分別達到 90.9% 和 90.1% 的成功率,超過多種同期 VLA 系統。在真實機器人評測中,HyVLA-0.5 覆蓋 Dobot X-Trainer、JAKA K1、Astribot S1 和 Unitree G1 等多個平臺,驗證了同本體適配、跨本體遷移、力感知任務和 FlowPRO 后訓練能力。



RoboTwin 2.0 仿真測評結果。



六個真機任務上的測評結果。Track-A (使用同本體數據微調):使用 X-Trainer 數據微調部署到 X-Trainer 上。 Track-B(使用跨本體數據微調):使用高精度 UMI 數據微調微調部署到 JAKA K1 和 Astribot S1 上



RL 后訓練測評結果。以 HyVLA-0.5 作為基礎策略,四項真實機器人任務下每輪迭代的任務成功率。第 0 輪迭代對應監督微調模型檢查點;第 1–3 輪迭代代表連續多輪后訓練過程。

遠不止 VLA,騰訊 Robotics X 已經開源和落地多個領先模型

HyVLA-0.5 不止于提出一個新的 VLA 模型,而在于展示了一條面向真實機器人落地的全棧路線:用高質量自采數據構建行動先驗,用具身原生架構連接視覺語言理解與連續控制,用 UMI 預訓練和雙 track 微調驗證跨本體遷移,用 FlowPRO 將失敗案例轉化為策略迭代動力,并用異步部署系統支撐真實硬件上的穩定閉環執行。

追求真實場景驗證,是騰訊 Robotics X 實驗室這兩年最重要的方向之一。追蹤騰訊過去一年在具身智能方向的布局可以看到,此次發布的意義在于:HyVLA-0.5 將感知、推理與行動貫通為一套面向真實機器人操作的 VLA 系統,并開始進入工業產線場景接受測試驗證。

在過去的 2025 年至 2026 年期間,騰訊 Robotics X 實驗室聯合混元團隊,已經構建起了一個從底層平臺基礎設施到行業多模態大模型的完整開源矩陣。

此前,騰訊發布并開源HY-Embodied-0.5 系列模型。這是一套面向真實世界具身智能體的基礎模型,重點增強空間和時間視覺感知,以及預測、交互、規劃等具身推理能力。

相比通用視覺語言模型,HY-Embodied-0.5 更像是為機器人任務重新設計的多模態底座。它關注的不只是圖像問答,也包括機器人在真實環境中需要的空間定位、時序理解和任務推理。

隨后,騰訊又發布HY-Embodied-0.5-X。這一增強版模型繼續圍繞真實機器人 “看得懂、想得清、做得到” 的閉環進行專項優化,強化精細操作理解、空間推理、動作預測、風險判斷、多模態指代理解和長程規劃等能力。

不久前,騰訊還開放了自研的機器人本體互連技術 RoboFusion,可實現機器人 “一線到底” 理想的連接方式,降低布線復雜性與故障風險,同時定義了以 IP 協議為基礎的本體通信方式,融合了機器人多業務的數據傳輸,使機器人具備更高級的軟件重構、軟件定義的特征。在騰訊 Robotics X 實驗室的示范機器人系統上,RoboFusion 可將線束從 35 束減少到 3 束,相當于消除了 32 條獨立通道的布線負擔,這對于機器人本體互連而言,是一項革命性的跨越。

騰訊 Robotics X 的新變化

從 2025 年開始,騰訊 Robotics X 實驗室變得不一樣了 —— 更重視軟件算法、AI 模型的研發,并且強調開源開放共享。

2025 年,騰訊 Robotics X 實驗室聯合福田實驗室推出Tairos(鈦螺絲) 具身智能開放平臺

Tairos 面向機器人本體廠商和應用開發商,以模塊化方式提供大模型開發工具和數據服務,首批集成多模態感知模型、規劃大模型、感知 - 行動聯合大模型等核心組件,同時提供仿真平臺、數據服務和 SDK 接口。

騰訊首席科學家、Robotics X 實驗室主任、福田實驗室主任張正友博士此前提到,基于規劃大模型、感知模型、感知行動聯合大模型結合的 SLAP3 理論,騰訊 Robotics X 聯合福田實驗室推出 Tairos 具身智能開放平臺,用模塊化方式提供大模型開發工具和數據服務,支持具身智能機器人行業發展。

這句話點出了 Tairos 的本質:為機器人本體開發商和應用開發商補齊關鍵軟件能力。

對機器人廠商來說,這類開放能力的價值很直接。

本體廠商擅長機械結構、電機控制、供應鏈和硬件量產,但并不一定都有能力從零訓練具身大模型。應用開發商熟悉場景,但也很難獨立完成數據采集、模型訓練、仿真驗證和硬件適配。

Tairos 和 HY-Embodied 系列模型試圖降低這部分門檻,讓更多廠商能接入一套相對成熟的大腦能力。

過去,很多機器人 demo 看起來足夠驚艷,但一旦進入開放環境,就會迅速暴露不足。機器人要從展臺走向工廠、商超、家庭和服務場景,靠的不會只是某一個更強的模型,還需要一套能夠持續迭代的軟件體系。

騰訊正在做的,正是這件事。

短短一年間,從 Tairos 到 HY-Embodied-0.5,再到 HY-Embodied-0.5-X 和 Hy-Embodied-0.5-VLA,騰訊補齊了平臺、模型、數據、訓練和部署等關鍵環節。每一步都有真實工程產出,也都選擇開放給行業。

這條路線背后,是騰訊在機器人方向越來越清晰的定位:把算法、模型和平臺能力,沉淀為更多機器人廠商可以接入的大腦底座。

具身智能的落地,不會只來自某一次炫目的演示。它更可能來自開放模型的持續迭代、真實數據的不斷積累、真機失敗后的快速修正,以及整個行業共同搭建起來的軟件基礎設施。

等這套基礎設施足夠穩固,機器人進入真實物理世界的速度,才會真正加快。

https://wuyeyexvnainai.github.io/flowpro/

https://github.com/Tencent-Hunyuan/HY-Embodied

https://github.com/Tencent-Hunyuan/HY-Embodied-0.5-X

https://github.com/Tencent-Hunyuan/Hy-Embodied-RoboFusion

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
床搖塌了,墊兩個枕頭繼續調查結果:僅確定“有染”,未干預招標

床搖塌了,墊兩個枕頭繼續調查結果:僅確定“有染”,未干預招標

漢史趣聞
2026-06-14 09:13:05
中國網協公示!鄭欽文無緣亞運會參賽名單,上屆曾在主場奪冠

中國網協公示!鄭欽文無緣亞運會參賽名單,上屆曾在主場奪冠

全景體育V
2026-06-15 18:50:05
泰國公主葬禮內場畫面,讓網友大開眼界,原來不是平躺而是坐著

泰國公主葬禮內場畫面,讓網友大開眼界,原來不是平躺而是坐著

魔都姐姐雜談
2026-06-15 15:19:34
中央安全生產考核巡查組已進駐8省份明查暗訪

中央安全生產考核巡查組已進駐8省份明查暗訪

界面新聞
2026-06-15 11:23:24
世界杯最新積分榜:1-0絕殺!南美3隊0勝阿根廷難衛冕,亞洲不敗

世界杯最新積分榜:1-0絕殺!南美3隊0勝阿根廷難衛冕,亞洲不敗

小火箭愛體育
2026-06-15 09:13:01
裁員潮正在失控,不敢想下半年會有多難,難出想象…

裁員潮正在失控,不敢想下半年會有多難,難出想象…

慧翔百科
2026-06-15 11:36:55
戰略小金屬,A股盈利能力最強的十家公司,中鎢排第4,云鍺未上榜

戰略小金屬,A股盈利能力最強的十家公司,中鎢排第4,云鍺未上榜

長風價值掘金
2026-06-15 16:37:10
進球停不下來!今天4場世界杯共進19球,出現兩場超大比分

進球停不下來!今天4場世界杯共進19球,出現兩場超大比分

懂球帝
2026-06-15 12:22:18
13歲學生體檢被提示艾滋病篩查“可疑”后遭勸退,最新進展

13歲學生體檢被提示艾滋病篩查“可疑”后遭勸退,最新進展

新京報
2026-06-15 14:21:30
32歲美國歌手在巴西空難中遇難,原定10月來中國成都、廣州、上海等8座城市巡演,成名曲為《生活仍要繼續》;6名遇難者身份曝光

32歲美國歌手在巴西空難中遇難,原定10月來中國成都、廣州、上海等8座城市巡演,成名曲為《生活仍要繼續》;6名遇難者身份曝光

大象新聞
2026-06-15 10:45:03
賺8.5萬交3.2萬稅,自雇者崩潰:我當場惡心了

賺8.5萬交3.2萬稅,自雇者崩潰:我當場惡心了

爬蟲飼養員
2026-06-15 00:18:36
中國最大安全套品牌,要被賣了

中國最大安全套品牌,要被賣了

中國新聞周刊
2026-06-15 15:37:35
山東3億北斗工程現“脆皮底座”一掰就碎,5000套設備成5000個隱患:監測滑坡的設備,自己先“滑坡”了

山東3億北斗工程現“脆皮底座”一掰就碎,5000套設備成5000個隱患:監測滑坡的設備,自己先“滑坡”了

大象新聞
2026-06-15 09:45:14
一商家宣傳“120歲老人進店,可以免費領500克金條”!網友帶著124歲姑奶奶前往...店家:可以,不過需要家長簽字

一商家宣傳“120歲老人進店,可以免費領500克金條”!網友帶著124歲姑奶奶前往...店家:可以,不過需要家長簽字

LULU生活家
2026-06-15 15:10:22
NBA季后賽獎金分配出爐!尼克斯奪冠人均77萬美元 索漢收入翻倍

NBA季后賽獎金分配出爐!尼克斯奪冠人均77萬美元 索漢收入翻倍

羅說NBA
2026-06-15 05:05:56
滾回你的國家!日本42萬穆斯林成仇恨目標,中方:接納與理解

滾回你的國家!日本42萬穆斯林成仇恨目標,中方:接納與理解

風雨與陽光
2026-06-15 10:17:47
特朗普稱最終協議無果將再對伊動武

特朗普稱最終協議無果將再對伊動武

界面新聞
2026-06-15 07:36:59
3米魚缸爆裂致11條觀賞魚死亡,知情人發聲:養了5年,損失二十多萬,送去餐廳加工發現不好吃,觀賞魚缺少運動,肉質不好

3米魚缸爆裂致11條觀賞魚死亡,知情人發聲:養了5年,損失二十多萬,送去餐廳加工發現不好吃,觀賞魚缺少運動,肉質不好

大風新聞
2026-06-15 16:06:08
“山姆被約談”沖上熱搜第一,網友罵翻,最新回應來了

“山姆被約談”沖上熱搜第一,網友罵翻,最新回應來了

星島記事
2026-06-15 15:03:55
五冠之王!邁克布朗遲到19年的復仇!

五冠之王!邁克布朗遲到19年的復仇!

籃球實錄
2026-06-15 15:49:52
2026-06-15 20:59:00
機器之心Pro incentive-icons
機器之心Pro
專業的人工智能媒體
13265文章數 142670關注度
往期回顧 全部

科技要聞

白宮一個電話,最強Claude上線三天就沒了

頭條要聞

女生當模特被折騰3個半小時 遭老板嫌棄顏值取消合作

頭條要聞

女生當模特被折騰3個半小時 遭老板嫌棄顏值取消合作

體育要聞

殘陣日本2比2荷蘭:漫畫里不是這樣的呀

娛樂要聞

黃大煒猝逝過程太離奇,母親追查真相

財經要聞

活鼠、活蛆、農殘超標 山姆回應被約談

汽車要聞

網易X智己 夏日尊享內購會,熱力收官

態度原創

房產
本地
手機
游戲
公開課

房產要聞

最低13100元/㎡!三亞新一輪安居房房源,開始登記!

本地新聞

當年輕人重新愛上黃金,非遺有了新的打開方式

手機要聞

三星簡化One UI系統Beta測試流程,One UI 9.0起注冊更便捷

不更新了?《輻射76》沒有計劃增加更多地圖外探險

公開課

李玫瑾:為什么性格比能力更重要?

無障礙瀏覽 進入關懷版