這項由伊利諾伊大學香檳分校、清華大學與北京大學聯合完成的研究，以預印本形式發布于2026年5月，論文編號為arXiv:2605.30611，有興趣深入了解的讀者可以通過這一編號查詢完整論文。

每個做過科研的人大概都有過這樣的經歷：論文的方法已經想清楚了，實驗數據也跑完了，但一張能清晰展示研究框架的配圖，卻可能需要耗費好幾個小時甚至一整天。你得在PowerPoint或Illustrator里一個框一個箭頭地拼，字體要對齊，顏色要協調，圖標要找素材，改一次布局整張圖可能要推倒重來。對于全球數以百萬計的研究人員來說，這幾乎是一道繞不開的"美工關"。

于是一個很自然的問題出現了：AI能幫我們畫這些圖嗎？現在的圖像生成模型已經能畫出以假亂真的風景和人像，能不能也畫出論文里的那種架構圖、流程圖、學術海報？

研究團隊給出了他們的答案，同時也誠實地點出了問題所在：現有的AI繪圖工具要么只能接受文字輸入，要么只能生成固定類型的圖，輸出的圖片還是靜態的位圖，想改一個標簽或者調整一下布局，只能重新生成。更核心的問題是，這些工具面對結構復雜的科研圖示時，往往一次生成就能暴露出各種局部錯誤——標注亂碼、箭頭對不上、模塊缺失——而單純"重試"換來的是另一堆不同位置的錯誤，并不能真正修正問題。

為了系統性地解決這些困難，研究團隊構建了一套名為CRAFTER的多智能體框架，以及配套的SVG可編輯轉換工具CRAFTEDITOR，并專門設計了一個覆蓋三種圖形類型、四種輸入方式的評測基準CRAFTBENCH。整個系統的核心思路，不是打造一個更強的"畫圖引擎"，而是在現有引擎外面套上一層精巧的"調度框架"——就像一個有經驗的導演，統籌安排編劇、攝影、剪輯各司其職，而不是試圖讓一個人完成所有工作。

一、為什么科研配圖這么難畫，AI又卡在哪里

科研論文里的配圖和普通圖片有一個根本區別：它是由許多離散的語義部件組成的結構化整體。一張典型的方法架構圖，可能包含十幾個命名模塊、若干帶標簽的箭頭、幾個顏色分區，以及精確的空間位置關系。每一個部件都承載著明確的含義，任何一個部件出錯——比如一個標簽寫成亂碼、一條箭頭指向錯誤的模塊——都會讓整張圖失去準確性。

現有的圖像生成模型在面對這類圖時，暴露出一個顯著的弱點：它們的輸出具有很高的"隨機性"。同一段文字描述，多次生成會產生布局截然不同的圖，而且幾乎每次生成都會在不同位置出現不同的局部錯誤。更糟糕的是，如果你把每次出錯的地方用文字描述出來讓模型再改，往往會出現新的矛盾：一會兒說"把標題放大"，一會兒又說"減少空白"，這兩條指令疊加在一起，模型并不能智能地權衡，而是把所有文字指令都堆到一起，導致描述越來越混亂，生成質量反而越來越差。

研究團隊把這個問題比作"沒有記憶的修改"。每次給AI加一條修改意見，它并不會更新一個結構化的內部理解，而只是在原來的文字堆上再加一段話。積累幾輪之后，這堆文字就會充滿內在矛盾，模型陷入混亂。

除此之外，現有系統還有兩個明顯短板：第一，它們幾乎都只接受文字輸入，而現實中研究者經常是從一張草圖、一個參考圖、或者一組已有圖標出發來設計新圖；第二，生成的圖片是位圖格式，無法在本地進行元素級別的修改——你不能只改掉一個模塊的標簽，也不能只調整某一行的顏色。

二、調度框架：不造更強的引擎，而是配一套更聰明的駕駛艙

CRAFTER的核心設計思路，研究團隊稱之為"harness"，翻譯成中文大約是"調度套具"的意思。這個詞來自馬車駕馭中的"馬具"——馬具本身不產生動力，但它精確地控制著馬的力量如何轉化為車輪的前進方向。同樣，CRAFTER不改動底層的圖像生成模型，而是在它外面套上一套精確的調度機制，讓生成的每一步都有目標、有反饋、有記憶。

整個框架由五個相互協作的"智能體"組成，它們共同維護一份不斷更新的"圖形規格說明書"。這份說明書不是一段普通的文字，而是一個結構化的文檔，記錄著當前圖的布局方案、顏色方案、應該包含的元素、已知的問題約束、以及之前幾輪修改留下的類型化編輯記錄。

第一個智能體叫"意圖推理器"，負責在接收到用戶的輸入（可以是文字、草圖、參考圖或部分元素）之后，理解這張圖想傳達的核心含義和所需的視覺元素，生成最初版本的說明書?？梢园阉斫鉃橐粋€善于傾聽的項目經理，負責把客戶模糊的需求轉化為清晰的設計簡報。

第二個智能體是"方案生成器"，它讀取說明書，提出若干個不同的視覺方案——比如橫幅布局、多列網格、步驟編號序列等等。多個方案會被同時送入底層圖像生成引擎，各自生成一張候選圖。這一步的關鍵在于：不同的方案代表著不同的結構性選擇，一旦在這一步選到了一個根本不適合的布局，后續的所有修改都無法彌補這個先天缺陷。所以在最開始就探索多種可能性，是避免"在錯誤方向上精雕細琢"的關鍵。

第三個智能體是"批評員"，它對每張候選圖進行評估，但給出的不是一個數字分數，而是一份詳細的診斷報告：哪些維度表現良好，哪些地方存在具體問題，以及應該如何修正。這份報告有六個評估維度，包括內容準確性、布局一致性、文字可讀性、角色符合度、美學質量和偽像嚴重程度。批評員的輸出越具體、越有針對性，后續的修改就越有方向感，而不是盲目地重新生成。

第四個智能體是"說明書修改員"，它把批評員給出的診斷轉化為對說明書的"類型化編輯"——不是在說明書末尾追加一段話，而是直接修改說明書中對應的字段，比如在布局約束里加一條"標題區域不得小于圖像寬度的80%"，或者把某類偽像標記為"禁止出現"。這就確保了每次修改都精準地作用于問題所在，而不會與之前的描述產生矛盾。

第五個智能體是"收斂判斷器"，負責決定當前輪次的圖是接受、繼續修改，還是退回到歷史最優版本。整個修改循環最多進行三輪，每輪結束時都保存當前最優結果，一旦某輪修改反而讓圖變差了，系統會自動回退到上一個更好的版本。這一點很重要，因為AI驅動的迭代修改并不總是單調遞進的，有時候修改會"修壞"，需要一個安全網來兜底。

三、從草圖、圖標、遮罩到文字：四種不同的出發點

CRAFTER的另一個突出特點是它能處理多種不同類型的輸入，而不僅僅是文字描述。研究團隊把這歸結為CRAFTER框架的靈活性：所有任務特定的行為都藏在智能體的提示詞里，框架本身的結構不需要改變，只需要在指令層面適配不同的輸入形式。

最常見的情形是純文字輸入：給出論文某一節的文字描述，讓系統生成對應的架構圖或方法示意圖。這對應著大多數現有系統所覆蓋的場景。

第二種是"遮罩補全"：用戶已經有了一張基本成型的圖，但其中某個區域被遮住或者留白，需要AI來補全這個空缺的部分。這很像你在玩拼圖時少了幾塊，需要根據周圍的圖案判斷缺失的那塊應該長什么樣。

第三種是"關鍵元素組合"：用戶提供了一些已經準備好的圖標或視覺元素，但還沒有把它們組合成完整的圖，需要AI根據這些元素設計出完整的布局和結構。這就像你有了所有的食材，但需要一個食譜告訴你怎么把它們做成一道菜。

第四種是"草圖條件生成"：用戶畫了一張粗糙的布局草圖（可以是手繪的、也可以是用線框工具畫的），需要AI在保持這個布局框架的前提下，把它"精修"成一張可以放進論文的高質量圖。這里的挑戰在于，AI要忠實于草圖的結構邏輯，同時又要讓輸出看起來足夠專業，而不是單純臨摹一遍草圖。

四、把靜態位圖變成可以編輯的矢量圖

生成了高質量的圖之后，研究團隊面臨下一個問題：這張圖是位圖，無法在本地修改單個元素。如果你想把某個模塊的標簽從英文改成中文，或者把整個配色方案換掉，你只能重新生成。這對于需要頻繁微調的研究工作流來說，幾乎等于白忙一場。

CRAFTEDITOR就是為了解決這個問題而設計的。它的任務是把一張生成好的位圖，轉換成一個結構清晰、可以逐元素編輯的SVG格式文件（SVG是一種矢量圖格式，其中每個圖形元素都是獨立的、可以單獨修改的）。同樣，它復用了CRAFTER的調度框架，只是把執行對象從"圖像生成"換成了"SVG代碼生成"。

整個轉換過程分三個階段進行。第一階段叫做"提取"：一個視覺理解智能體檢查輸入的位圖，制定一份"保留/刪除"計劃，指定哪些視覺元素需要保留、哪些背景噪聲和文字疊加層需要清除。一個可以接受指令的圖像編輯器執行這個計劃，得到一張干凈的畫布。批評智能體檢查清理結果，如果還有殘余的干擾元素，就再來一輪，最多進行三輪。這一步解決了傳統圖像分割方法在復雜科研圖（尤其是會議海報，可能有25到50個視覺元素）上容易失敗的問題——傳統分割很難區分哪些是語義相關的元素、哪些是背景裝飾。

第二階段叫做"處理"：對從干凈畫布上裁出的每個元素進行描述和分類，判斷它應該以矢量方式還是位圖方式嵌入SVG，并為每個元素打上坐標標注。

第三階段叫做"合成"：先由語言模型生成兩個不同參數下的SVG骨架草案，選出較好的那個，然后把第二階段處理好的元素填入對應的位置。之后，一個"混合批評員"對生成的SVG進行評估——這個批評員不只是用AI來看圖，還額外運行了一組程序化檢查器，專門檢測文字溢出、箭頭端點對齊、元素重疊、缺失組件等問題，因為這些細節性的結構問題往往是視覺AI看不出來但影響實際使用的關鍵缺陷。修改循環最多運行四輪，同樣配備了最優結果保存和回退機制。

五、專門為這項任務設計的評測基準

在測試CRAFTER之前，研究團隊發現了一個尷尬的現實：現有的評測基準都太窄了。它們幾乎清一色只測試"給一段文字，生成一張學術方法圖"這一種場景，根本無法評估一個系統在不同圖形類型和不同輸入條件下的表現。

于是研究團隊專門構建了CRAFTBENCH，一個包含279個樣本的評測集。這些樣本來自五個來源：18個學科領域的arXiv預印本論文、CVPR會議的高亮和獲獎海報、ICLR會議的口頭報告和Spotlight海報，以及Lilian Weng博客上的深度科普文章。每個樣本都經過了七道質量關卡的過濾，包括內容分類、復雜度評分、圖文對齊驗證等，最終由人工從553個候選樣本中篩選到279個。

在279個樣本中，大約三分之二是純文字到圖像的生成任務，其余三分之一分別對應遮罩補全、關鍵元素組合和草圖條件生成這三種參考輸入任務。圖形類型方面，學術配圖占140個，會議海報占109個，信息圖占30個。每個參考輸入類型的樣本都由三名研究生級別的標注員獨立審核，只有三人一致通過才會入庫，有爭議的樣本會反復修改直到達成共識。

評測方式采用"以AI作為評判者"的方案，用Gemini模型來分別對生成圖和人類繪制的參考圖打分，然后比較兩者的分差來判斷勝負。每張圖都按照任務類型的不同從若干維度打分，內容準確性和輸入忠實度權重最高，可讀性和格式權重較低。當生成圖的總分超過參考圖超過0.3分時判為"模型勝"，低于0.3分判為"人類勝"，差距在0.3以內判平局。整體得分是三種結果對應100分、50分、0分的平均值。

研究團隊還專門對這套自動評測做了人工驗證：三名標注員對60個案例進行了盲測兩兩比較，結果顯示自動評測與人工判斷的一致率為72%，Cohen's Kappa系數為0.58，達到了中等偏上的一致性水平。

六、實驗結果：框架的價值在哪里

實驗結果的主要數字來自兩個基準測試。在覆蓋學術方法圖的PaperBanana-Bench上，CRAFTER以50.34分的總分領先第二名約16.61分；在更寬泛的CRAFTBENCH上，CRAFTER以約50分的總分領先第二名約22.20分。無論使用哪個底層圖像生成引擎（Nano Banana 2或Nano Banana Pro），CRAFTER都在所有任務類型和所有質量維度上超過了其他方法。

一個有意思的對比是另一個流行的智能體框架PaperBanana：它在專門針對學術方法圖的基準上表現不錯，比自己的底層引擎提升了約22.60分；但一旦擴展到CRAFTBENCH的更廣泛場景，提升幅度急劇縮水到8.10分，而且在草圖任務上甚至還不如直接使用底層引擎。這印證了研究團隊在論文開頭指出的核心問題：一個針對單一場景優化的系統，并不能良好地遷移到其他場景。

值得注意的是，換用更強的底層引擎（從Nano Banana 2換到Nano Banana Pro）對CRAFTER的總分影響相當有限：PaperBanana-Bench上只差了0.34分，CRAFTBENCH上也只差了2.10分，而且兩個引擎各有勝負。這說明CRAFTER的價值主要來自調度框架本身，而不是依賴某個特定引擎的優勢——這也意味著未來出現了更強的圖像生成引擎，直接換上去就好，框架不需要修改。

研究團隊還逐一測試了去掉每個機制的影響。去掉多方案探索（固定只生成一個方案）導致總分下降8.56分，可讀性維度損失最大，因為一旦在最開始選了錯誤的布局框架，后續所有修改都無法逃脫這個先天限制。去掉結構化說明書（改回純文字修改指令的疊加）導致總分下降8.90分，這是單個機制去除中最大的損失，直接驗證了"自由文本積累會導致矛盾疊加"的假設。去掉修改循環導致下降5.48分，去掉指令性批評員（改為僅輸出數字評分）導致下降5.04分。四個機制每一個都有獨立的、不可替代的貢獻。

在CRAFTEDITOR的評測中，研究團隊選取了80個CRAFTER生成的圖作為輸入，與另外兩個同類系統（Edit-Banana和AutoFigure-Edit）比較轉換質量。CRAFTEDITOR在位置、顏色、文字、圖標、箭頭、風格和整體評分七個維度上全面領先，整體分數8.04分對比AutoFigure-Edit的6.91分和Edit-Banana的3.69分。其中箭頭端點和文字標注兩個維度的優勢最為顯著，正是程序化檢查器發揮關鍵作用的地方。

七、這套系統做不好的事，研究團隊自己說了

在論文的最后，研究團隊也誠實地展示了CRAFTER失敗的案例，并分析了每種失敗的原因。

第一類失敗叫"面板丟失"：當輸入描述包含"(a)、(b)、(c)三個子圖"時，意圖推理器有時會把三個子圖合并成一個，這個錯誤發生在最開始的理解階段，進入說明書之后就再也無法被后續的修改循環恢復。修復方向是在意圖推理階段加一個子圖數量的顯式核查。

第二類失敗叫"填充不匹配"：在遮罩補全任務中，CRAFTER有時會用與原圖風格格格不入的方式來填補空白區域，破壞了整張圖的視覺連貫性。這主要是底層生成引擎和批評員都沒有專門檢測"填充區域與周圍內容的邊界連貫性"。

第三類失敗叫"字面骨架"：在草圖條件生成任務中，CRAFTER有時會忠實地復現草圖的抽象布局，卻忘了加入讓圖真正有說服力的具體內容——比如一張實際案例照片、或者一個完整的演示例子。草圖的結構被還原了，但草圖背后的表達意圖沒有被理解。

這三個失敗模式都有清晰的改進方向，研究團隊把它們作為未來工作的切入點。

整體而言，CRAFTER把科研配圖的生成問題重新定義為一個"調度與校正"問題，而非單純的"生成質量"問題。當一個系統能夠在多個候選方案中挑選最佳起點、用結構化記憶追蹤每一次修改的意圖、用有針對性的診斷驅動下一輪改進，并在改壞的時候自動退回到更好的結果，那么即使底層的圖像引擎能力有限，整體輸出質量也會大幅提升。

說到底，這套系統給出的啟示是：在AI生成領域，單純堆砌更大的模型并不總是最有效的路徑。有時候，在現有引擎之外加一層精心設計的調度邏輯，反而能帶來更穩定、更實用的提升。對于研究者來說，一個能處理草圖、圖標、遮罩等多種輸入、能自動迭代修正、還能輸出可編輯SVG的工具，或許真的能把那幾個小時的"美工時間"省下來用于更有價值的工作。當然，系統目前依賴昂貴的閉源API，每張圖的生成成本在0.25到0.85美元之間，對于大批量生成來說還是一筆不小的開銷。CRAFTBENCH本身只有279個樣本，信息圖的覆蓋也相對薄弱，這些都是后續需要完善的地方。如果你對技術細節感興趣，可以通過arXiv編號2605.30611找到完整論文，代碼和數據集也已在GitHub上開源。

Q&A

Q1：CRAFTER框架和直接用圖像生成模型生成科研配圖有什么本質區別？

A：直接用圖像生成模型只能得到一次性的輸出，出錯了只能重新生成，而且用文字反復修改會導致指令越來越矛盾。CRAFTER的區別在于它在生成引擎外套了一層調度框架：多個方案同時探索，批評員給出具體診斷而不是模糊評分，所有修改寫入結構化說明書而不是堆成文字，還有自動回退機制保證質量不退步。

Q2：CRAFTEDITOR生成的SVG文件能在什么軟件里打開和編輯？

A：SVG是通用矢量圖格式，可以用Illustrator、Inkscape、Figma等主流設計軟件打開，也可以直接用代碼編輯器修改其中的文字、顏色和位置屬性。CRAFTEDITOR的目標是把位圖里每個視覺元素都轉化為SVG中獨立可操作的節點，讓研究者可以直接修改單個標簽或調整局部布局，而不需要重新生成整張圖。

Q3：CRAFTBENCH評測集和之前的科研配圖評測集相比多了什么？

A：之前的評測集幾乎只測一種場景：給文字描述生成學術方法圖。CRAFTBENCH增加了三種參考輸入任務（遮罩補全、關鍵元素組合、草圖條件生成），覆蓋了學術圖、會議海報、信息圖三種圖形類型，樣本來源涵蓋18個學科領域，每個樣本還經過了七道自動質量過濾加三人一致審核，是目前覆蓋最寬的科研配圖評測集。