北京
henry 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
別人家的“龍蝦”還在盯著屏幕玩電腦，理想已經(jīng)把“龍蝦”帶上車了！
最近，理想發(fā)布了全新的流式視頻理解與具身智能統(tǒng)一的Agent框架——
StreamingClaw。
在保持與OpenClaw框架完全兼容的基礎(chǔ)上，StreamingClaw原生支持實(shí)時(shí)的多模態(tài)流式交互。
這意味著，系統(tǒng)在面對(duì)視覺輸入時(shí)，不再將其視為死板的離線視頻文件，而是像人類感知世界一樣，實(shí)時(shí)捕獲流數(shù)據(jù)（Stream）并進(jìn)行即時(shí)推理。
比如，這只蝦不僅能在駕駛中盯著你，檢測可疑動(dòng)作（哈欠、玩手機(jī)）并主動(dòng)預(yù)警。
還能在你取車的時(shí)候，主動(dòng)跟你打招呼。
與此同時(shí)，StreamingClaw還引入了自主多代理調(diào)度機(jī)制。
依托主-從代理的緊密協(xié)同，它不僅能自主完成復(fù)雜的任務(wù)規(guī)劃與邏輯決策，更深度集成了豐富的工具及技能庫，在現(xiàn)實(shí)場景中實(shí)現(xiàn)了指令驅(qū)動(dòng)的具身智能。
在StreamingClaw的加持下，機(jī)器人與終端設(shè)備實(shí)現(xiàn)了極低延遲的“邊看、邊記、邊行動(dòng)”：
比如，它可以實(shí)時(shí)上識(shí)別你手持的物品，幫你解題。
不難看出，在這些復(fù)雜場景中，StreamingClaw的核心硬實(shí)力在于實(shí)時(shí)推理與瞬時(shí)響應(yīng)。
而支撐這只“理想龍蝦”在物理世界靈活行動(dòng)的，正是一整套圍繞“流式架構(gòu)”展開的系統(tǒng)設(shè)計(jì)。
從“離線處理”到“主動(dòng)閉環(huán)”
不同于大模型等對(duì)延遲（相對(duì)）不敏感的場景，在具身智能、AI硬件及智能座艙等領(lǐng)域，系統(tǒng)往往需要在毫秒級(jí)完成感知—決策—執(zhí)行的閉環(huán)：
- 感知（看）：通過攝像頭捕獲環(huán)境；
- 決策（想）：AI大腦規(guī)劃對(duì)策；
- 執(zhí)行（做）：驅(qū)動(dòng)硬件或指令，并根據(jù)動(dòng)作后的新環(huán)境再次循環(huán)。
然而，現(xiàn)有的視頻Agent在處理實(shí)時(shí)感知（流式感知）時(shí)往往面臨著延遲較高的問題。
之所以這樣是因?yàn)?，傳統(tǒng)方法通常將視頻視為完整文件處理。長視頻的計(jì)算量呈指數(shù)級(jí)爆炸，難以實(shí)時(shí)響應(yīng)；
同時(shí)，模型難以持續(xù)追蹤長時(shí)程信息，導(dǎo)致決策草率、頻繁遺忘，甚至直接任務(wù)失敗。
針對(duì)這些問題，以往的研究嘗試通過視覺壓縮或Token精簡來緩解負(fù)載，但同時(shí)也導(dǎo)致了細(xì)節(jié)丟失，無法準(zhǔn)確定位等問題。
更致命的是，傳統(tǒng)模型大多是被動(dòng)觸發(fā)：你不問，它不動(dòng)，缺乏對(duì)環(huán)境風(fēng)險(xiǎn)的主動(dòng)感知。
StreamingClaw通過“增量計(jì)算”改寫了這一邏輯。
它不再機(jī)械地重復(fù)處理歷史畫面，而是將環(huán)境的細(xì)微變化視為增量信號(hào)進(jìn)行推理更新。
這意味著，它不僅能“看”得更準(zhǔn)、記”得更久，還能在思考過程中自主調(diào)用工具，實(shí)現(xiàn)從感知到物理干預(yù)的真正閉環(huán)。
這就是所謂的流式推理，與處理現(xiàn)成文件的“離線模式”不同，其要求AI必須像觀看直播一樣，在數(shù)據(jù)不斷涌入的同時(shí)即時(shí)分析，不允許任何嚴(yán)重滯后。
接下來，我們具體來看StreamingClaw是怎么做到的。
具身智能的流式交互引擎
總體來看，StreamingClaw是一個(gè)高度協(xié)同的多代理（Multi-agent）架構(gòu)。它通過一套標(biāo)準(zhǔn)化的流水線，打破了不同硬件之間的壁壘：
首先，無論是智能眼鏡、自動(dòng)駕駛芯片還是具身機(jī)器人，所有多模態(tài)流式輸入都會(huì)通過時(shí)間戳對(duì)齊與共享流式緩存*進(jìn)行標(biāo)準(zhǔn)化處理，確保AI擁有統(tǒng)一的“時(shí)間尺度”。
其次，核心大腦StreamingReasoning（主代理）負(fù)責(zé)實(shí)時(shí)感知與規(guī)劃；StreamingMemory與StreamingProactivity（從代理）則分別提供長效記憶支撐與主動(dòng)交互決策。
最后，代理生成的決策指令會(huì)直接驅(qū)動(dòng)工具箱與技能庫。
從簡單的視頻剪切到復(fù)雜的具身動(dòng)作序列，執(zhí)行結(jié)果會(huì)即時(shí)反饋至代理，形成一套完整的“感知—決策—執(zhí)行”閉環(huán)。
這種架構(gòu)讓StreamingClaw不僅能聽懂指令，更能通過自主規(guī)劃與工具調(diào)用，真正深入現(xiàn)實(shí)場景解決問題。
流式推理：：StreamingReasoning
流式推理（StreamingReasoning）主要針對(duì)具有連續(xù)輸入輸出的流視頻理解場景。
其核心目標(biāo)是在極低延遲的約束下，實(shí)現(xiàn)對(duì)現(xiàn)實(shí)世界的實(shí)時(shí)感知、理解與推理。
在實(shí)時(shí)流式推理方面，系統(tǒng)會(huì)將輸入的視頻流拆分為細(xì)粒度片段，并通過動(dòng)態(tài)滑動(dòng)窗口嚴(yán)格控制上下文范圍，從源頭上避免無效信息的堆積。
在此基礎(chǔ)上，結(jié)合經(jīng)過剪枝優(yōu)化的流式KV-Cache機(jī)制，StreamingReasoning可以持續(xù)進(jìn)行高效的增量解碼，使整體推理過程始終緊貼視頻流節(jié)奏運(yùn)行，而不會(huì)出現(xiàn)延遲堆積。
在此之上，系統(tǒng)引入了自規(guī)劃調(diào)度能力，充當(dāng)整個(gè)流程的“總指揮”。
它能夠動(dòng)態(tài)解析用戶指令，并自主規(guī)劃任務(wù)路徑。在面對(duì)復(fù)雜任務(wù)時(shí)，系統(tǒng)會(huì)根據(jù)需要選擇調(diào)用層級(jí)化記憶進(jìn)行檢索，或轉(zhuǎn)而觸發(fā)主動(dòng)交互決策；
而在常規(guī)場景下，則保持直接、低延遲的流式多模態(tài)推理，使整體交互過程始終順暢自然。
流式存儲(chǔ)：StreamingMemory
StreamingMemory存儲(chǔ)真正的多模態(tài)向量，通過層級(jí)記憶演化（HME）機(jī)制，以應(yīng)對(duì)復(fù)雜的流視頻理解任務(wù)。
具體來說，在記憶機(jī)制上，系統(tǒng)以視覺為核心，將多模態(tài)信息組織為可持續(xù)增長的增量式記憶節(jié)點(diǎn)，避免原始數(shù)據(jù)的簡單堆疊。
這些記憶進(jìn)一步從碎片演化為更高層級(jí)的“行動(dòng)”和“事件”，使檢索對(duì)象從畫面本身轉(zhuǎn)向可用于決策的結(jié)構(gòu)化經(jīng)驗(yàn)。
在此基礎(chǔ)上，系統(tǒng)通過命令驅(qū)動(dòng)的并行時(shí)間遍歷實(shí)現(xiàn)高效檢索，在長時(shí)序信息中快速定位關(guān)鍵內(nèi)容，同時(shí)保證魯棒性。
同時(shí)，統(tǒng)一的接口設(shè)計(jì)打通跨代理記憶，使不同Agent既能共享關(guān)鍵經(jīng)驗(yàn)，又能進(jìn)行差異化管理，從而支撐更高效的協(xié)同。
從代理：StreamingProactivity
StreamingProactivity面向未來事件預(yù)測、推理與主動(dòng)交互設(shè)計(jì)，其目標(biāo)既可以由用戶預(yù)先設(shè)定，也可以在流式過程中持續(xù)演化。
當(dāng)請(qǐng)求被識(shí)別為主動(dòng)交互時(shí)，主代理會(huì)將其轉(zhuǎn)化為持續(xù)在線的監(jiān)控任務(wù)，例如追蹤行為、判斷事件或監(jiān)控風(fēng)險(xiǎn)。
一旦滿足觸發(fā)條件，系統(tǒng)即刻生成通知或解釋性響應(yīng)，形成“感知—推理—觸發(fā)—反饋”的閉環(huán)，避免反復(fù)查詢。
這一機(jī)制主要覆蓋兩類場景，一類是時(shí)間感知交互，強(qiáng)調(diào)對(duì)狀態(tài)隨時(shí)間演化的持續(xù)跟蹤；
另一類是事件定位交互，聚焦關(guān)鍵事件在時(shí)間流中的精確識(shí)別，常見于異常檢測與自動(dòng)標(biāo)注等任務(wù)。
在實(shí)現(xiàn)上，系統(tǒng)分為免訓(xùn)練適配與訓(xùn)練適配兩種路徑。
免訓(xùn)練適配無需額外訓(xùn)練，通過將觸發(fā)條件結(jié)構(gòu)化為可監(jiān)控節(jié)點(diǎn)，在流式過程中匹配視覺信號(hào)并即時(shí)生成響應(yīng)；同時(shí)支持目標(biāo)在線更新，形成持續(xù)演化的主動(dòng)交互閉環(huán)。
訓(xùn)練適配則將狀態(tài)變化建模為視覺語言信號(hào)，引入場景專用觸發(fā)Token，使感知與任務(wù)解耦，并在單次推理中完成多事件識(shí)別與響應(yīng)生成。
該方案在復(fù)雜場景下具備更高精度、更強(qiáng)泛化能力，同時(shí)顯著降低并發(fā)任務(wù)下的推理開銷。
整體來看，StreamingProactivity實(shí)現(xiàn)了全天候在線的主動(dòng)交互，使系統(tǒng)能夠持續(xù)感知變化并觸發(fā)響應(yīng)。
可擴(kuò)展的工具與技能：閉環(huán)的最后一公里
為了真正讓AI影響物理世界，StreamingClaw還提供了高效工具與技能接口，從而完成了“感知—決策—執(zhí)行”閉環(huán)的最后一個(gè)環(huán)節(jié)。
除了標(biāo)準(zhǔn)的工具組合外，研究還引入了專為視頻理解和流式交互定制的專業(yè)工具。
比如，Video Cut工具可以在關(guān)鍵片段中精準(zhǔn)裁剪時(shí)間戳，將內(nèi)容送入大型多模態(tài)模型進(jìn)行“顯微級(jí)分析”，再輸出精簡文本結(jié)果。
總體而言，StreamingClaw面向流式視頻場景，基于多模態(tài)大模型實(shí)現(xiàn)感知、理解與語音輸出，但當(dāng)前仍以“視覺+文本”為核心輸入范式，對(duì)音頻輸入、精細(xì)時(shí)序?qū)R及跨模態(tài)聯(lián)合推理的支持仍有限。
未來，系統(tǒng)將演進(jìn)為統(tǒng)一的全模態(tài)代理框架，打通視頻、圖像、音頻與文本的輸入輸出，實(shí)現(xiàn)真正的感知-執(zhí)行閉環(huán)；
同時(shí)強(qiáng)化長時(shí)程建模、空間理解與跨模態(tài)對(duì)齊能力，并持續(xù)優(yōu)化低延遲部署與記憶、工具調(diào)用機(jī)制，以支撐更真實(shí)世界的具身交互。
[1]https://jackyu6.github.io/StreamingClaw-Page/
[2]https://arxiv.org/pdf/2603.22120
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
