在 AI for Science 快速發(fā)展的今天，大模型已經(jīng)能夠在文獻(xiàn)理解、科學(xué)推理與實(shí)驗(yàn)規(guī)劃等認(rèn)知層面展現(xiàn)出強(qiáng)大能力。然而，當(dāng)研究真正進(jìn)入科學(xué)實(shí)驗(yàn)室，面對(duì)燒杯、移液器、加熱板與離心機(jī)等真實(shí)設(shè)備時(shí)，現(xiàn)有系統(tǒng)仍然難以將抽象實(shí)驗(yàn)步驟轉(zhuǎn)化為穩(wěn)定、可泛化的操作行為。

這一鴻溝的主要原因，并非 AI 機(jī)器人能力不足，而是科學(xué)實(shí)驗(yàn)本身包含大量隱性的操作知識(shí)與流程結(jié)構(gòu)，這些知識(shí)難以被現(xiàn)有數(shù)據(jù)驅(qū)動(dòng)方法有效表達(dá)與學(xué)習(xí)。因此，現(xiàn)有實(shí)驗(yàn)室自動(dòng)化系統(tǒng)往往停留在「流程執(zhí)行器」的層面，而非能夠從實(shí)驗(yàn)知識(shí)中學(xué)習(xí)操作策略的智能系統(tǒng)。

浙江大學(xué)與上海人工智能實(shí)驗(yàn)室近日聯(lián)合推出 LabVLA，旨在探索一種更具泛化能力的科學(xué)具身智能范式：將視覺 - 語(yǔ)言 - 動(dòng)作（Vision-Language-Action, VLA）預(yù)訓(xùn)練引入科學(xué)實(shí)驗(yàn)場(chǎng)景，使模型能夠從自然語(yǔ)言實(shí)驗(yàn)描述出發(fā)，學(xué)習(xí)跨任務(wù)、跨環(huán)境的實(shí)驗(yàn)操作規(guī)律，而不僅僅是執(zhí)行單一固定流程。

為支撐這一目標(biāo)，團(tuán)隊(duì)構(gòu)建了知識(shí)增強(qiáng)的仿真數(shù)據(jù)引擎 RoboGenesis 與科學(xué)具身語(yǔ)料 LabEmbodied-Data，使模型能夠在大規(guī)模、多變化的實(shí)驗(yàn)?zāi)M環(huán)境中學(xué)習(xí)操作先驗(yàn)。在科學(xué)實(shí)驗(yàn)具身操作基準(zhǔn) LabUtopia 上，LabVLA 在 ID 與 OOD 設(shè)置下分別取得 71.1% / 70.0% 的平均成功率，并在 Franka 真實(shí)機(jī)器人平臺(tái)上進(jìn)行了真機(jī)實(shí)驗(yàn)驗(yàn)證。

• 論文地址：https://arxiv.org/pdf/2606.13578
• 項(xiàng)目地址：https://zjunlp.github.io/LabVLA/
• 模型地址：https://huggingface.co/zjunlp/LabVLA
• 代碼地址：https://github.com/zjunlp/LabVLA

當(dāng) AI 走進(jìn)科學(xué)實(shí)驗(yàn)室：從「會(huì)思考」到「會(huì)動(dòng)手」還缺什么？

過(guò)去幾年，AI for Science 的進(jìn)展主要集中在認(rèn)知層面。無(wú)論是蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)、科學(xué)文獻(xiàn)理解，還是材料發(fā)現(xiàn)，模型處理的對(duì)象大多是文本、序列、圖結(jié)構(gòu)或數(shù)值信息。它們擅長(zhǎng)的是「理解知識(shí)」，但并不直接面對(duì)實(shí)驗(yàn)室里的物理世界

為了讓 AI 真正成為科學(xué)研究助手，僅僅「會(huì)思考」還不夠，還需要具備「會(huì)動(dòng)手」的能力。近年來(lái)，自動(dòng)化實(shí)驗(yàn)平臺(tái)或自主實(shí)驗(yàn)室（Self-driving Labs）在材料科學(xué)、化學(xué)合成、生物實(shí)驗(yàn)等領(lǐng)域取得了顯著進(jìn)展，通過(guò)機(jī)械臂、自動(dòng)化儀器與智能優(yōu)化算法實(shí)現(xiàn)實(shí)驗(yàn)流程的自動(dòng)執(zhí)行。然而，這類系統(tǒng)大多面向特定實(shí)驗(yàn)任務(wù)設(shè)計(jì)，依賴固定設(shè)備和預(yù)定義工作流，雖然能夠高效完成專門場(chǎng)景下的大規(guī)模實(shí)驗(yàn)，卻缺乏跨任務(wù)、跨設(shè)備和跨環(huán)境的泛化能力

與此同時(shí)，通用機(jī)器人領(lǐng)域的 VLA 模型在家庭、工業(yè)等場(chǎng)景里已經(jīng)展現(xiàn)出不錯(cuò)的操作能力，但科學(xué)實(shí)驗(yàn)室場(chǎng)景具有明顯不同的特點(diǎn)：有透明液體、精密儀器、嚴(yán)格流程、復(fù)雜安全約束，也有大量專業(yè)動(dòng)作，例如倒液、加熱、按壓、轉(zhuǎn)運(yùn)和器皿擺放。通用機(jī)器人模型如果沒有針對(duì)性訓(xùn)練，往往難以直接適配這樣的環(huán)境。

視頻鏈接：https://mp.weixin.qq.com/s/4_lIVYytD0cSNu1kh7NPUA

LabVLA 在 Franka 機(jī)械臂上進(jìn)行科學(xué)實(shí)驗(yàn)

科學(xué)實(shí)驗(yàn)并不僅僅是動(dòng)作執(zhí)行問(wèn)題，而是一種受科學(xué)知識(shí)約束的具身策略學(xué)習(xí)過(guò)程。LabVLA 試圖打通 AI for Science 的推理能力與具身系統(tǒng)的操作能力之間的壁壘，使實(shí)驗(yàn)操作具備跨任務(wù)、跨環(huán)境的泛化能力。

RoboGenesis：把實(shí)驗(yàn)流程變成可規(guī)模化的數(shù)據(jù)

現(xiàn)有仿真數(shù)據(jù)通常缺乏科學(xué)過(guò)程約束，難以表達(dá)實(shí)驗(yàn)中的隱式操作邏輯。科學(xué)實(shí)驗(yàn)室機(jī)器人的真實(shí)數(shù)據(jù)采集面臨高成本、低覆蓋和強(qiáng)依賴等挑戰(zhàn)：不僅需要專業(yè)設(shè)備、領(lǐng)域?qū)＜覅⑴c及嚴(yán)格的安全保障，還難以覆蓋開放復(fù)雜的實(shí)驗(yàn)場(chǎng)景。

針對(duì)這一問(wèn)題，團(tuán)隊(duì)提出知識(shí)增強(qiáng)的仿真數(shù)據(jù)引擎 RoboGenesis，將科學(xué)原理、實(shí)驗(yàn)規(guī)范與操作邏輯編碼進(jìn)可編程仿真環(huán)境，實(shí)現(xiàn)從「依賴人工示教的數(shù)據(jù)采集」向「依托科學(xué)知識(shí)的自動(dòng)化經(jīng)驗(yàn)生成」轉(zhuǎn)變。RoboGenesis 旨在搭建一座連接科學(xué)知識(shí)與機(jī)器人行為的橋梁，使實(shí)驗(yàn)知識(shí)能夠沉淀為可執(zhí)行、可復(fù)用、可遷移的具身經(jīng)驗(yàn)，為科學(xué)具身智能的發(fā)展提供新的數(shù)據(jù)范式。

知識(shí)增強(qiáng)科學(xué)具身數(shù)據(jù)合成

RoboGenesis 的思路可以概括為三步。

第一步是實(shí)驗(yàn)空間構(gòu)建。系統(tǒng)先根據(jù)文本描述生成參考圖像，再借助三維重建與物理標(biāo)注，自動(dòng)生成可用于訓(xùn)練的實(shí)驗(yàn)室場(chǎng)景資產(chǎn)，并批量組合成不同實(shí)驗(yàn)環(huán)境。

第二步是實(shí)驗(yàn)工作流生成。面對(duì)一條自然語(yǔ)言指令，例如「將液體從燒杯 A 轉(zhuǎn)移到燒杯 B 并加熱」，系統(tǒng)會(huì)先將其拆解為多個(gè)原子技能，再在不同機(jī)器人平臺(tái)上實(shí)例化執(zhí)行，同時(shí)對(duì)場(chǎng)景、相機(jī)、光照、雜物、物體與空間關(guān)系進(jìn)行隨機(jī)化，提升模型的泛化能力。

第三步是結(jié)構(gòu)化經(jīng)驗(yàn)沉淀。團(tuán)隊(duì)對(duì)生成軌跡進(jìn)行一致性驗(yàn)證與執(zhí)行篩選，以保證數(shù)據(jù)質(zhì)量，并為其附帶任務(wù)步驟、物體狀態(tài)、相機(jī)參數(shù)、空間關(guān)系等多類標(biāo)注，形成LabEmbodied-Data。這意味著，實(shí)驗(yàn)流程不再只是「演示視頻」，而是可以直接用于模型訓(xùn)練的高質(zhì)量監(jiān)督信號(hào)。

從方法上看，RoboGenesis 的意義不只是「造數(shù)據(jù)」，而是嘗試把實(shí)驗(yàn)室中原本隱性的操作經(jīng)驗(yàn)，轉(zhuǎn)化為可復(fù)用、可擴(kuò)展、可遷移的結(jié)構(gòu)化訓(xùn)練資源。

LabVLA：構(gòu)建從視覺理解到動(dòng)作生成的統(tǒng)一科學(xué)實(shí)驗(yàn)操作模型

在模型設(shè)計(jì)上，LabVLA 采用了開源大模型作為視覺語(yǔ)言骨干，并搭配一個(gè)動(dòng)作專家模塊，負(fù)責(zé)輸出連續(xù)控制信號(hào)。訓(xùn)練過(guò)程分為兩個(gè)階段。

在預(yù)訓(xùn)練階段，模型先在多個(gè)公開機(jī)器人數(shù)據(jù)源上學(xué)習(xí)離散動(dòng)作 token 預(yù)測(cè)，讓視覺和語(yǔ)言前綴先建立對(duì)「動(dòng)作語(yǔ)義」的理解。

在后訓(xùn)練階段，模型接入動(dòng)作專家，并在更貼近實(shí)驗(yàn)室場(chǎng)景的數(shù)據(jù)上進(jìn)行連續(xù)動(dòng)作學(xué)習(xí)，并引入了「知識(shí)隔離」的機(jī)制，盡量避免動(dòng)作學(xué)習(xí)過(guò)程對(duì)原有視覺語(yǔ)言能力造成干擾。換句話說(shuō)，模型既要學(xué)會(huì)「怎么動(dòng)」，也要盡量不丟掉「怎么看、怎么理解」的能力。

在 LabUtopia 上表現(xiàn)如何？

LabVLA 在 LabUtopia 仿真環(huán)境進(jìn)行實(shí)驗(yàn)驗(yàn)證

在六類實(shí)驗(yàn)室任務(wù)上，LabVLA 覆蓋了拾取、按鈕操作、開門、倒液、加熱和運(yùn)輸?shù)鹊湫蛣?dòng)作。實(shí)驗(yàn)結(jié)果顯示，LabVLA 在 ID 和 OOD 條件下都取得了最優(yōu)表現(xiàn)，平均成功率分別達(dá)到71.1%70.0%

更重要的是，這個(gè)結(jié)果不是只在單一設(shè)置下成立。團(tuán)隊(duì)進(jìn)一步用 LabEmbodied-Data 去微調(diào)其他具身模型，發(fā)現(xiàn)它對(duì)外部模型同樣具有明顯幫助，說(shuō)明這套數(shù)據(jù)資產(chǎn)本身具備較強(qiáng)的通用性和遷移性，并不完全依賴某一個(gè)特定架構(gòu)。

真機(jī)實(shí)驗(yàn)

為了驗(yàn)證模型的在真實(shí)世界的表現(xiàn)，團(tuán)隊(duì)將 LabVLA 部署到真實(shí) Franka 機(jī)械臂平臺(tái)，并與 DreamZero 以及 π0.5 等代表性機(jī)器人模型進(jìn)行對(duì)比。實(shí)驗(yàn)包含四類典型實(shí)驗(yàn)室任務(wù)，包括搖晃液體、傾倒液體、磁力攪拌以及漏斗插拔，覆蓋抓取、放置、傾倒、按壓與器皿操作等基礎(chǔ)實(shí)驗(yàn)技能。每個(gè)任務(wù)收集五十條數(shù)據(jù)，并對(duì)目標(biāo)物體位置與最終放置區(qū)域進(jìn)行隨機(jī)擾動(dòng)，以評(píng)估模型在真實(shí)環(huán)境中的泛化能力。

實(shí)驗(yàn)從兩個(gè)維度構(gòu)建測(cè)試場(chǎng)景，包括：目標(biāo)位置是否超出訓(xùn)練分布，以及工作空間是否存在雜亂物體。LabVLA 在大多數(shù)設(shè)置下均取得超過(guò) 70% 的成功率，表明基于仿真的預(yù)訓(xùn)練能力能夠有效遷移到真實(shí)實(shí)驗(yàn)環(huán)境。

在整體表現(xiàn)上，LabVLA 與 DreamZero 基本持平，并在部分更具挑戰(zhàn)性的泛化場(chǎng)景中略有優(yōu)勢(shì)。例如在干凈且分布在訓(xùn)練之外的位置設(shè)置中，LabVLA 的平均成功率達(dá)到 80%，高于 DreamZero。在最長(zhǎng)時(shí)序的漏斗插拔任務(wù)中，LabVLA 也取得了最佳表現(xiàn)。實(shí)驗(yàn)進(jìn)一步表明，液體傾倒任務(wù)對(duì)位置偏移與環(huán)境干擾最為敏感，而多步驟器皿操作則對(duì)模型的長(zhǎng)程規(guī)劃能力提出更高要求。總體而言，這些結(jié)果驗(yàn)證了 LabVLA 能夠較好地從仿真遷移到真實(shí)實(shí)驗(yàn)室環(huán)境，并展示了其作為科學(xué)具身智能體的初步潛力。

基于上述工作思路，團(tuán)隊(duì)正在探索將 LabVLA 的科學(xué)具身能力應(yīng)用于浙江大學(xué)、復(fù)旦大學(xué)、晶泰科技等真實(shí)科學(xué)場(chǎng)景，著重探索其在合成生物、藥物發(fā)現(xiàn)、分子材料等場(chǎng)景的應(yīng)用。其更重要的意義在于，可以在一定程度上替代人工進(jìn)入高危或重復(fù)性強(qiáng)的實(shí)驗(yàn)環(huán)節(jié)，減少研究人員暴露在有毒、易燃或高溫高壓等實(shí)驗(yàn)條件下的風(fēng)險(xiǎn)，同時(shí)提升實(shí)驗(yàn)操作的一致性與可重復(fù)性。

面向科學(xué)具身的一點(diǎn)思考

如果只從實(shí)驗(yàn)指標(biāo)來(lái)看，LabVLA 只是一個(gè)具身模型的性能結(jié)果；但放在 AI for Science 的整體框架下，它更接近于一次面向科學(xué)實(shí)驗(yàn)操作的基礎(chǔ)設(shè)施探索。

首先，它將「實(shí)驗(yàn)室操作」這一長(zhǎng)期缺乏形式化表達(dá)的過(guò)程，從經(jīng)驗(yàn)性流程轉(zhuǎn)化為可建模、可學(xué)習(xí)、可評(píng)估的具身學(xué)習(xí)問(wèn)題，使科學(xué)實(shí)驗(yàn)操作具備了被算法系統(tǒng)化處理的可能性。

其次，它建立了一條從仿真數(shù)據(jù)生成、任務(wù)結(jié)構(gòu)分解、動(dòng)作策略學(xué)習(xí)到真實(shí)機(jī)器人驗(yàn)證的完整技術(shù)鏈路，從而將科學(xué)具身智能從單點(diǎn)任務(wù)優(yōu)化推進(jìn)到端到端閉環(huán)建模。這種閉環(huán)對(duì)于科學(xué)場(chǎng)景尤為關(guān)鍵，因?yàn)檎鎸?shí)應(yīng)用往往依賴跨環(huán)境、跨設(shè)備的連續(xù)泛化能力，而非孤立的任務(wù)表現(xiàn)。

最后，這項(xiàng)工作在一定程度上討論了當(dāng)前 AI 在實(shí)驗(yàn)室環(huán)境中的能力邊界：LabVLA 目前更接近于一個(gè)能夠初步執(zhí)行科學(xué)實(shí)驗(yàn)的「技術(shù)員」，而非能夠自主設(shè)計(jì)實(shí)驗(yàn)并根據(jù)結(jié)果動(dòng)態(tài)調(diào)整策略的「科學(xué)家」。清晰界定這一邊界，有助于為后續(xù)實(shí)現(xiàn)真正的 AI 科學(xué)助手提供更加明確的演進(jìn)路徑。

真實(shí)實(shí)驗(yàn)數(shù)據(jù)稀缺仍然是制約科學(xué)具身智能發(fā)展的核心瓶頸之一。我們希望通過(guò)開放模型、代碼與數(shù)據(jù)，降低這一方向的研究門檻，推動(dòng)科學(xué)具身智能從概念驗(yàn)證階段走向更廣泛的真實(shí)世界應(yīng)用。

結(jié)語(yǔ)：從技術(shù)員到科學(xué)家，仍然還有很長(zhǎng)的路

長(zhǎng)期以來(lái)，AI for Science 更多聚焦于認(rèn)知層面的突破，而實(shí)驗(yàn)這一連接假設(shè)與證據(jù)的關(guān)鍵環(huán)節(jié)，仍高度依賴人工操作。LabVLA 所探索的，并非讓 AI 直接成為科學(xué)家，而是賦予其理解實(shí)驗(yàn)、執(zhí)行實(shí)驗(yàn)的能力，使其能夠作為科研人員的協(xié)作伙伴參與科學(xué)發(fā)現(xiàn)過(guò)程。

然而，構(gòu)建真正通用的科學(xué)具身智能仍面臨諸多挑戰(zhàn)：實(shí)驗(yàn)室設(shè)備種類繁多、操作規(guī)范差異顯著，真實(shí)實(shí)驗(yàn)中的誤差累積、安全約束與環(huán)境擾動(dòng)也遠(yuǎn)比仿真環(huán)境復(fù)雜；同時(shí)，高質(zhì)量實(shí)驗(yàn)數(shù)據(jù)獲取成本高昂，不同實(shí)驗(yàn)場(chǎng)景之間的知識(shí)與技能遷移能力仍然有限。因此，LabVLA 目前更多是在特定實(shí)驗(yàn)任務(wù)上的初步探索，距離能夠自主適應(yīng)開放實(shí)驗(yàn)環(huán)境、完成跨學(xué)科科學(xué)研究的通用實(shí)驗(yàn)智能體仍有較長(zhǎng)距離

從知識(shí)理解到物理交互，從仿真學(xué)習(xí)到真實(shí)驗(yàn)證，科學(xué)具身智能或許正在打開 AI for Science 的下一扇門。