允中 發自 凹非寺
量子位 | 公眾號 QbitAI

Skill讓Agent不必每次都從零開始摸索，而是可以復用已有的任務經驗，但一個明顯的短板始終存在：

今天寫給Agent的Skill幾乎全是純文本，修圖該修到什么程度、界面上該點哪個按鈕，這些“看了才明白”的知識，一直塞不進一份Markdown文檔。

針對這一問題，openJiuwen社區正式發布Skill-Omni——業界最早工程化落地的多模態Skill范式。

它讓Agent的經驗從“讀得懂”升級為“看得見”，把網頁和視頻中的視覺知識，沉淀為Agent可復用的多模態Skill。

給Agent的說明書，第一次有了插圖和參考圖。

具體來說，用戶只需提供一個網頁鏈接或一個B站視頻鏈接，JiuwenSwarm中開箱即用的skill-omni-creation就會自動提取其中的關鍵截圖、界面狀態和操作脈絡，生成Agent可直接讀取復用的多模態Skill

這也是繼SwarmSkill、SwarmFlow之后，openJiuwen在Skill工程化方向上的又一次快速迭代。

為什么Skill需要多模態化，Skill-Omni又是如何做到的？下面具體來看。

為什么Skill需要多模態化

今天的主流Skill范式停留在純文本。

這在代碼生成、文檔處理等任務中足夠有用；可一旦Agent開始處理視覺任務、GUI任務，局限立刻顯現——有些任務，本來就不是“說清楚”的，而是“看明白”的。

圖片編輯任務，文字Skill可能會寫：

調整色調，使主體突出、背景柔和。

人類也許能領會，但對Agent來說過于模糊：主體在哪里？柔和到什么程度？有沒有參考效果？

這些問題僅靠文字很難給出穩定答案。真正的知識藏在調整前后的視覺差異里：有了前后對比圖，Agent才能看到“調整到什么程度才算合理”

GUI自動化，文字Skill可能會寫：

進入設置頁，打開高級選項，選擇導出設置。

但“設置”可能是齒輪圖標，也可能藏在頭像菜單下；“高級選項”可能需要滾動頁面才能看到；“導出配置”可能是按鈕，也可能是下拉菜單里的某個條目，界面里還有多個相似按鈕。

如果有關鍵界面截圖和頁面狀態，Agent才能不再只依賴文字猜測

還有更被低估的視頻教程：大量技能不寫在文檔里，而藏在軟件錄屏和操作演示中。

人類看得懂，但總結成一段文字，界面狀態和操作細節就全丟了。

一句話：視覺任務中的關鍵知識往往不是一句話，而是一組可觀察的狀態。

界面長什么樣、操作前后有何變化、結果是否符合視覺預期。全部壓縮成文字，既費筆墨，又丟失空間關系和視覺細節。

這個判斷并非openJiuwen一家之言，MMSkills1、VisualSkill2等近期學術工作已系統論證了這一方向。

方向已被驗證，但把多模態Skill做成生產級Agent平臺中開箱即用的工程能力，openJiuwen是業界最早的實踐者——不停留在范式討論，而是快速做成可用的產品能力。

從更形式化的角度看，多模態Skill的價值并不只是“信息更多”，而是為Agent提供了一個更大的決策信息空間。

這意味著，在理想決策器假設下，引入有效的多模態信息不會降低Agent的最優決策能力，反而為其提供了更高的信息上限

skill-omni-creation：把網頁、視頻和視覺經驗轉化為多模態SKILL

在這一背景下，openJiuwen在JiuwenSwarm中默認提供了skill-omni-creation——

一個用于生成多模態Skill的meta skill

它不直接完成業務動作，而是關注“這里面有哪些截圖、關鍵幀和操作模式，能幫Agent下次完成類似任務”，并把它們從網頁、視頻等外部資料中整理出來。

它把原本面向人類閱讀和觀看的網頁、視頻，轉化為Agent可以使用的多模態經驗資產。

目前支持兩類生成入口：

• 一是網頁轉多模態Skill，把圖文教程、技術博客中的截圖和步驟沉淀為Skill；
• 二是視頻鏈接轉多模態Skill，從視頻教程中提取關鍵幀和操作脈絡。

能力一：把網頁轉成圖文并茂的多模態Skill

高質量教程和技術博客本身就是圖文結合的，但對傳統文本Skill來說，網頁里的圖片經常被直接忽略，難以進入Agent的執行邏輯。

skill-omni-creation處理網頁分三步：

• 自動解析：只需提供一個網頁鏈接，系統自動解析內容并下載圖片資源；
• 智能去噪：過濾廣告圖、裝飾圖、無關banner，只留正文截圖、操作步驟圖、前后對比圖等有價值信息；
• 重組過濾：將文字步驟、關鍵圖片和操作邏輯重新組織成信息密度更高的多模態Skill。

網頁不再只是被收藏或總結，而是被轉換成Agent可以使用的經驗資產。

場景演示：圖文經驗貼轉多模態Skill

某網頁講解如何修復照片欠曝光。這類任務的關鍵信息藏在圖像前后的視覺變化中：暗部細節是否被拉回，高光是否被過度提亮。

skill-omni-creation把這些視覺判斷標準連同前后對比圖一起沉淀進Skill——讓Agent不僅知道“如何修復”，也理解“修復到什么程度才算合適”。

能力二：把視頻鏈接轉成多模態Skill

視頻的信息密度更高，但復用難度更大：視頻天然帶有時間軸，重要信息只出現在某幾個關鍵幀里。

轉錄成文字會丟失視覺狀態；逐幀塞給Agent又會帶來巨大的上下文成本。

skill-omni-creation的做法是：提供視頻鏈接后，系統從連續畫面中篩選關鍵幀，識別關鍵操作節點，整理出“什么時候發生了什么變化”。

一個復雜的視頻教程不再是“看過就忘”的內容，而變成Agent可調用、可復用的多模態經驗。

場景演示：B站視頻轉多模態Skill

一個Bilibili視頻完整講述了JiuwenSwarm的安裝過程。只需提供視頻鏈接，skill-omni-creation就會圍繞篩選出的關鍵幀整理安裝步驟、命令說明和界面狀態。

這對安裝類任務尤其重要：安裝是否成功，不只取決于命令寫沒寫對，還取決于終端輸出和啟動界面是否符合預期。

生成之后：Agent如何讀取多模態Skill

生成只是第一步，關鍵是Agent執行時能否正確使用——如何查閱多模態證據，又不因一次性加載大量圖片而撐爆上下文（這也是學術研究反復指出的難點）。

JiuwenSwarm的工程答案是一套按需讀取機制：

• 環境檢測：運行時先檢測用戶提供的API是否支持多模態輸入，避免在模型不支持視覺輸入時盲目加載圖片；
• 動態注入與按需調用：調用Skill時，系統自動檢查Skill中是否包含圖片鏈接，若有則注入提示，引導Agent在需要時調用read_file讀取圖片。

圖片不會被一次性全部塞進上下文，而是按需進入執行過程——既保留視覺信息，又避免上下文負擔。

圖片不再只是Skill文檔里的插圖，而是Agent可以主動訪問的視覺證據。

場景演示：Agent讀取多模態Skill完成修圖任務

還記得“能力一”中生成的那個欠曝光修復Skill嗎？現在輪到它上場了。

面對欠曝光修復任務，Agent不再只靠“提升亮度”這樣的文字描述判斷任務是否完成，而是參考Skill中沉淀的前后對比圖：暗部是否重現，高光是否沒被拉過頭，色彩是否自然。

多模態Skill提供的不是裝飾，而是Agent判斷結果質量的視覺標準。

哪些任務最適合Skill-Omni

一句話概括：那些“文字不夠用”的任務。

• 圖像編輯與設計：Photoshop、ComfyUI、圖像修復——核心是知道結果應該長什么樣；
• GUI自動化：后臺配置、桌面軟件操作、復雜表單——高度依賴界面布局和頁面狀態；
• 視頻教程沉淀：把軟件教程、產品演示中的關鍵幀提取出來，變成Agent可讀取的Skill；
• 企業知識庫升級：企業SOP里的截圖、錄屏、流程圖，過去給人看，現在可以變成企業Agent可調用的知識資產。

在這些場景里，Skill-Omni的價值不是“讓知識更好看”，而是讓Agent拿到更完整的執行依據。

從文字說明書到多模態經驗庫

過去，Skill更像一份寫給Agent的文字說明書：遇到某類任務時，遵循哪些步驟、調用哪些工具、注意哪些約束。

但在多模態Agent時代，這還不夠。

當Agent開始看屏幕、理解圖片、操作軟件、復現視頻教程時，它需要的不只是文字規則，還有視覺參照、空間信息、關鍵幀和狀態變化。

Skill-Omni打通的正是這條完整鏈路：

提取視覺經驗（網頁/視頻）→ 沉淀為多模態Skill → Agent在真實任務中按需讀取、判斷與執行

這意味著Skill不再只是一份純文字資產，而開始成為多模態Agent的可復用經驗層

從SwarmSkill到SwarmFlow，再到今天的Skill-Omni，openJiuwen正在把Skill從“一份文檔”做成一套完整的經驗工程體系——

當Agent開始通過屏幕理解世界、通過圖像復用經驗，Skill也需要從Markdown走向Multimodal

而這條路不會止步于屏幕：下一步，Skill-Omni將探索面向Physical AI場景的Physical Skill

用物體抓取熱力圖沉淀物理交互經驗，讓Agent不僅復用“看得見”的經驗，也復用“拿得穩、做得成”的經驗。

Skill-Omni已在JiuwenSwarm中開箱可用。歡迎訪問openJiuwen開源社區體驗并參與共建。

相關資源
openJiuwen官網：https://www.openjiuwen.com/
JiuwenSwarm快速開始：https://openjiuwen.com/jiuwenswarm#quick-start

參考文獻
[1] MMSkills：https://arxiv.org/pdf/2605.13527
[2] VisualSkill：https://arxiv.org/pdf/2606.18448