這項由紐約大學（New York University）主導的研究發表于2026年5月，論文編號為arXiv:2606.00188，有興趣深入了解的讀者可以通過該編號查詢完整論文。

你有沒有試過用AI幫你改一張圖片？比如讓它"把這個圓圈往右移動50個像素"，或者"把這片區域填充成指定的藍色（#0000FF）"。看上去是不是超簡單的事情？畢竟這些操作在任何一款圖像編輯軟件里只需要幾秒鐘。然而，研究團隊專門為此設計了一套嚴格的測試，結果發現：當今最頂尖的AI圖像編輯模型，在這些"小學生級別"的精確編輯任務上，最強的也只能答對不到兩成。

這個發現聽起來很諷刺——那些能憑空生成逼真風景畫的AI模型，連"把紅色三角形移到左邊"這種事都做不好？研究團隊正是帶著這樣的疑問，建立了一套叫做**PAINTBENCH**的專項測試體系，用它系統地"體檢"了11款主流AI圖像編輯模型的精確執行能力，并將測試結果用嚴格的像素級別打分，徹底排除了以往"讓另一個AI來打分"的做法所帶來的偏差。

一、為什么AI"畫得好"不等于"改得準"

在正式介紹這套測試之前，有必要先解釋一個背景問題：為什么現有的AI測試發現不了這個問題？

過去評估AI圖像編輯能力的方式，大多是讓人類評審打分，或者用另一個"裁判AI"來判斷編輯效果好不好。這種方式對于那些沒有標準答案的任務來說是合理的——比如"讓天空更藍一點"，這種指令可以有無數種合理的結果，所以用"好不好看"來打分說得通。但問題在于，有一大類編輯任務其實是有唯一正確答案的：把形狀向右平移50個像素，答案就只有一個；把某塊區域填充成#FF0000這個紅色，答案也只有一個。對于這類任務，用主觀評分來判斷是"降格以求"——完全可以直接比對像素。

打一個比方：如果你請人幫你抄一份菜譜，任務有唯一的正確答案，那么最好的評判方式當然是逐字對比，而不是讓另一個人"感覺一下抄得像不像"。PAINTBENCH正是把這種"逐字對比"的精神引入了圖像編輯評測。

研究團隊認為，過去的測評體系忽略了一類非常重要的能力：精確執行有唯一正確答案的編輯操作。這類操作在真實應用中無處不在——數據可視化、科學圖表編輯、工程制圖、游戲資產修改——都需要AI能夠精確地"按指令行事"，而不是"大概意思差不多就行"。

二、"考卷"長什么樣：20種基本操作，4大類任務

PAINTBENCH把精確圖像編輯分成了四個大類，涵蓋20種基本操作，共生成了1920道題目。

第一大類叫"幾何變換"，包含5種操作：平移（把形狀移到指定位置）、旋轉（繞某個點轉動指定角度）、鏡像翻轉（沿某條軸對稱）、縮放（按比例放大或縮小）、錯切（讓形狀發生傾斜扭曲）。這類任務考驗的是AI能否精確地在畫布上"搬運"物體，不多不少、分毫不差。

第二大類叫"結構操控"，包含5種操作：構建（在指定位置畫出新形狀）、刪除（精確移除某個形狀）、復制（把某個形狀復制到新位置）、加邊框（給某個形狀加上指定顏色的邊框）、裁剪（把畫布上的某個區域裁出來并放大）。

第三大類叫"顏色變換"，包含5種操作：重新著色（把某個形狀改成指定顏色）、洪水填充（把某個封閉區域內的背景改成指定顏色）、混色（用半透明方式疊加一種顏色）、漸變（在某個區域內應用線性漸變色）、點操作（對每個像素單獨做亮度調整、灰度化或顏色反轉）。

第四大類叫"符號推理"，包含5種操作：比較（找出第幾大的形狀并刪掉）、排序（把同類形狀按大小順序重新排列）、圖案補全（根據重復規律補充缺失的格子）、計數（根據畫面中形狀的數量來調整計數符）、圖例（讀懂畫面中的圖例，然后按照圖例指示對形狀進行重新著色或刪除）。

每道題目的形式都一樣：給出一張輸入圖片，配上一段自然語言指令，AI需要輸出一張修改后的圖片，然后與唯一正確的標準答案逐像素比對打分。

題目由程序自動生成，每次運行都基于一個隨機種子，可以源源不斷地產生全新的題目，從根本上杜絕了AI"背題"或"刷題"的可能。畫面中的元素是由12種幾何形狀（圓形、矩形、箭頭、心形、星形、六邊形、三角形、環形、半圓、十字、菱形、云朵）隨機搭配顏色組合而成，背景可以是純色或條紋圖案。

三、打分方式：不靠感覺，只靠像素

PAINTBENCH的打分邏輯可以用一個裝修驗收的比喻來理解。

假設你要求裝修工人"把這面墻刷成純白色，其他地方保持原樣"。驗收時，你會做兩件事：第一，檢查那面墻刷白了沒有、顏色準不準；第二，檢查其他地方有沒有被誤傷——有沒有油漆濺到地板上或者窗框上。

PAINTBENCH的打分邏輯完全相同。它把圖片中所有像素分成兩個區域：一個是"應該被改動的區域"（簡稱編輯區），即正確答案與原圖不同的地方；另一個是"應該保持原樣的區域"（簡稱保留區），即正確答案與原圖相同的地方。

對于AI輸出的圖片，評分系統會同時考察兩件事：編輯區里，AI改對了多少像素？保留區里，AI"誤傷"了多少像素？兩者合并計算出一個叫做"IoU"（交并比）的分數，范圍是0到1，越高越好。

顏色精確度的判斷采用的是國際通用的CIE L*a*b*色彩距離公式（ΔE??），這個公式能夠模擬人眼對顏色差異的感知。研究團隊設置了從0到10共11個顏色容忍度檔位，然后把11個檔位下的IoU平均，得出最終的mIoU分數。容忍度為0意味著像素顏色必須完全一致才算正確；容忍度為10則允許有一定的顏色偏差。這種做法類似于體育比賽中"不同距離分別統計命中率再取平均"，比只看一個檔位的成績更全面。

四、考試結果：最強模型只得了17分

測試結果出爐后，研究團隊坦言有些出乎意料。

測試涵蓋了11個主流AI圖像編輯模型，其中既有谷歌和OpenAI的閉源旗艦產品，也有多款開源模型。在滿分100分的mIoU打分體系下，得分最高的是谷歌的Nano-Banana-2（對應Gemini 3.1 Flash圖像版），只得了17.1分。緊隨其后的是OpenAI的GPT-Image-2，得了16.3分。排名第三的Nano-Banana-1（Gemini 2.5 Flash圖像版）得了11.1分。其余開源模型的得分從6.7分一路跌至不足1分，其中華為系的HunyuanImage-3.0盡管參數量高達800億（激活參數130億），幾乎每道題都接近于0分，這讓研究團隊頗感意外。

從任務難度來看，幾何變換類是所有模型表現最差的領域，最高分也超不過17.5%。錯切和縮放兩種操作對所有模型來說幾乎是不可完成的任務，最高分不超過7.8%。大多數結構操控任務和基于公式的顏色變換（漸變、混色、點操作）也普遍很難。

相對而言，"刪除"和"單一顏色"類操作是所有任務里最容易的，但"容易"是相對而言——GPT-Image-2在刪除任務上得了50.6分，Nano-Banana-2在重新著色任務上得了30.4分，這已經是所有任務里最高的分數了，但從絕對值來看依然遠談不上"解決"。

符號推理類任務呈現出一幅復雜的圖景。圖案補全對所有模型來說都很難，最高只有13.7%。計數和比較任務也頗有挑戰，分別在16%左右徘徊。但圖例任務出現了一個有趣的分化：Nano-Banana-2在這項任務上得了47.1分，而GPT-Image-2只得了19.4分——同樣是頂級閉源模型，差距高達28個百分點。研究團隊認為這可能反映了兩家公司在訓練數據構成或微調側重點上的不同選擇。

五、兩個頂級模型的"術業專攻"

Nano-Banana-2和GPT-Image-2的總分非常接近（17.1分對16.3分），但深入到具體任務，兩者的能力畫像截然不同，幾乎像是兩個各有專長的不同工種。

GPT-Image-2在幾何變換和結構操控這兩個大類上全面領先。在幾何變換的5個子任務上，GPT-Image-2逐一擊敗Nano-Banana-2：平移（17.5%對12.3%）、旋轉（13.2%對7.6%）、鏡像（9.1%對4.4%）、縮放（7.8%對3.0%）、錯切（7.8%對3.1%）。在結構操控中，GPT-Image-2在刪除（50.6%對45.8%）和裁剪（28.5%對19.1%）上也更勝一籌。

然而，換到顏色變換和符號推理的領地，Nano-Banana-2就反超了。Nano-Banana-2在漸變任務上得了13.0%，GPT-Image-2卻只有1.4%，差距懸殊。點操作（亮度調整、灰度化、顏色反轉）上，Nano-Banana-2也以12.3%領先于GPT-Image-2的5.4%。而圖例任務上那47.1%對19.4%的巨大差距，更是兩者最顯著的分野。

這種"各有專攻"的現象在開源模型中同樣存在。Qwen-Image-Edit在洪水填充任務上得了16.3%，不僅超過了所有其他開源模型，甚至超過了閉源的Nano-Banana-1。BAGEL和FLUX.2-Dev在裁剪任務上分別得了16.5%和14.7%，同樣超過了Nano-Banana-1。還有一個任務叫"加邊框"，各模型的表現出現了極其陡峭的分化：只有Nano-Banana-2（18.9%）、GPT-Image-2（15.2%）、Nano-Banana-1（4.6%）三款模型在這項任務上表現出實質性能力，其余所有模型得分接近于零。

這說明，用單一的總分來評價AI圖像編輯能力是不夠的——一個模型的總分不能預測它在具體任務上的表現，PAINTBENCH的細粒度分析揭示了這種隱藏的能力差異。

六、AI出錯時，出的是哪四種"錯"

研究團隊不滿足于只知道模型"錯了多少"，他們還想搞清楚模型"是怎么錯的"。通過分析不同顏色容忍度下的分數曲線，他們總結出了四種典型的失敗模式，每種模式都有獨特的"指紋"。

第一種叫"顏色不精準"。這類失敗的特征是：編輯的位置和形狀都對了，但顏色差了那么一點。在嚴格的容忍度（接近0）下，分數接近于零；但隨著容忍度放寬，分數會快速攀升，最終在較寬松的容忍度下達到較高水平。就像一個廚師做了一道菜，口味大致對了，但鹽放多了一點點——挑剔的食客會挑出問題，但普通食客大概不會在意。

第二種叫"根本沒動"。這類失敗的特征是：AI完全忽視了編輯指令，輸出的圖片和輸入的圖片幾乎一模一樣。無論容忍度怎么放寬，編輯區的分數始終接近于零，而保留區的分數卻很高——因為AI什么都沒改，所以"保留區"確實保留得很好，只是應該改的地方一點都沒改。這就像你點了一杯改過配方的雞尾酒，結果端上來的還是原版——服務員根本沒有傳達你的需求。

第三種叫"結構性崩潰"。這類失敗最為嚴重，所有指標在所有容忍度下都接近于零。AI輸出了一張既不像原圖、也不像正確答案的東西——就像你請人修理一臺收音機，結果他把整臺機器拆散了扔了一地。

第四種叫"結構性不精準"。AI在大致正確的位置做了大致正確的編輯，但位置有偏差、形狀有錯位。這種失敗的特征是：編輯區的分數在某個中等水平就停住了，不論顏色容忍度怎么放寬都不再上升——因為問題根本不在顏色，而在于幾何位置對不上。就像一塊拼圖放錯了格子，不管你怎么調整角度都合不攏。

這四種"錯誤指紋"讓研究人員能夠從單張圖片的評分曲線中快速診斷出模型失敗的根本原因，而不僅僅是知道"分數低了"。

七、換個背景，分數就崩了：場景變化對AI的影響

PAINTBENCH的一個特色是可以通過調整場景參數來系統地測試模型的"脆弱性"。研究團隊設計了8種視覺條件：基準條件（正方形畫布、3個形狀、純色背景、標準調色板）、橫向寬屏畫布、縱向高屏畫布、非標準調色板、條紋背景、以及三種不同密度的形狀數量（10個、25個、60個）。

條紋背景和高形狀數量是兩個"殺傷力"最大的場景變化。對于Nano-Banana-2，條紋背景讓總分從基準的21.9%直降至10.8%，整整掉了11.1個百分點；GPT-Image-2在同樣條件下從20.9%降到12.2%，降幅8.8個百分點。當場景中有60個形狀時，Nano-Banana-2從21.9%降至10.0%（降了11.9點），GPT-Image-2從20.9%降至9.6%（降了11.3點）。而那些本來就得分極低的模型，在這兩種條件下甚至接近于零，已經沒有太多下降空間了。

畫布寬高比的變化對閉源模型有一定影響，但方向不一致。Nano-Banana-2在橫向寬屏下降了2.7點，在縱向高屏下降了0.9點；GPT-Image-2則在縱向高屏下降幅更大（3.6點），橫向寬屏只降了1.6點。開源模型對寬高比變化總體上不敏感，甚至有小幅提升。

非標準調色板的影響最為微妙。從總分mIoU來看，非標準調色板對各模型的影響參差不齊，大約一半模型略有提升、一半略有下降，看不出明顯規律。但一旦把"嚴格像素精確匹配"（容忍度為零）單獨拎出來看，情況就完全不同了：所有模型在非標準調色板下的精確匹配準確率都大幅下降。以BAGEL為例，其保留區精確匹配準確率從19.2%暴跌至0.3%；Nano-Banana-2從13.6%跌至0.9%。這說明模型能"大致"應對非標準顏色，但要精確復現那些不常見的顏色編碼，幾乎所有模型都束手無策。研究團隊認為，這背后的原因可能是訓練數據中常見顏色（紅綠藍等標準色）的比例遠高于不常見的顏色代碼，導致模型對非標準顏色的學習嚴重不足。

八、AI總是"手太重"：編輯范圍明顯超標

研究團隊還發現了一個有趣的系統性現象：AI改動的像素數量，遠遠超過任務要求的范圍。

研究團隊用一個比率來衡量這個問題：AI實際改動的像素數量，除以任務本身要求改動的區域大小。如果AI完美執行了任務，這個比率應該等于1。但實際情況是，對于面積較大的編輯區（超過256×256像素），這個比率在1到8倍之間——AI改了比應該改的多1到8倍的地方。而對于面積很小的編輯區（小于32×32像素），這個比率飆升至50到1400倍，意味著AI在做一個小改動的時候，誤傷的范圍可以是目標區域的幾百倍乃至上千倍。

這個"手太重"的現象直接導致了一個規律：編輯區越小，mIoU得分越低。Nano-Banana-2在最小編輯區（小于32×32像素）上的得分只有0.9%，但在最大編輯區（超過256×256像素）上的得分能達到28.7%。GPT-Image-2從1.7%升至24.1%。所有11個模型都呈現出這個隨編輯區增大而得分提升的規律，沒有例外。

這個現象在日常應用中有很直接的含義：如果你要讓AI幫你做一個精細的局部微調——比如修掉圖片角落里一個小污點，或者把一個小角標改個顏色——AI很可能會連帶著把周圍一大片區域也一起改動，弄巧成拙。

九、從簡單圖形到真實圖表：成績依然高度相關

PAINTBENCH的測試畫面都是由簡單幾何形狀組成的，有人可能會問：這種簡化的場景下的測試成績，能代表AI在真實應用中的表現嗎？

為了回答這個問題，研究團隊建立了一個配套測試集，叫做TINYGRAFIXBENCH，把同樣的測試哲學用在了真實的數據可視化圖表編輯上。這個測試集包含600道題目，分布在5種圖表類型上：柱狀圖、散點圖、折線圖、熱力圖、網絡圖。每種圖表有4類編輯任務，分別對應構建、變換、刪除和重新著色。

題目示例包括：給柱狀圖按升序排列所有柱子、在散點圖中為沒有趨勢線的那類點畫出最優擬合直線、在熱力圖中把顏色方案換成從指定低值顏色到指定高值顏色的漸變、在網絡圖中刪掉某個節點及其所有連線等。所有圖表都用Matplotlib程序生成，顏色、標簽、數值均為隨機生成，確保AI無法靠"背答案"來作弊。打分方式和PAINTBENCH完全一致。

結果顯示，TINYGRAFIXBENCH的總體難度略高于PAINTBENCH，但各模型在兩個測試集上的排名高度一致。更關鍵的是，兩個測試集的分數之間呈現出極強的線性相關關系，R?（決定系數）高達0.91，統計顯著性p值為5.28×10??，說明這絕非偶然。簡單來說：一個模型在PAINTBENCH上得分高，在TINYGRAFIXBENCH上也高；在簡單幾何圖形測試上表現差的模型，在真實數據圖表編輯上也一樣表現差。

Nano-Banana-2在TINYGRAFIXBENCH上以15.9%的mIoU領先，GPT-Image-2以15.6%緊隨其后，與兩者在PAINTBENCH上的相對排名完全一致。

各模型在具體任務上也出現了有趣的分化。Nano-Banana-2在"給柱狀圖加缺失柱子"（32.3%）、"重新著色柱子"（29.1%）、"給折線圖區間加陰影"（28.4%）和"遮蓋熱力圖中超閾值的單元格"（24.1%）這些任務上大幅領先于Nano-Banana-1（對應得分分別只有0.3%、0.6%、0.3%、1.2%），顯示出兩代模型之間能力的斷層式飛躍。在開源模型中，BAGEL在"篩選折線系列"任務上以10.2%領跑，甚至超越了所有閉源模型；FLUX.1-Kontext-Dev在"交換散點圖坐標軸"上以15.7%拔得頭籌；LongCat-Image-Edit在"平移熱力圖"任務上以18.0%表現最佳。

十、這套測試體系的局限與未來

研究團隊在論文中坦誠地討論了PAINTBENCH的若干局限性。

當編輯區域非常細小或薄時（比如修改一條細線），即使AI的位置偏差很小，也可能完全錯過目標區域，導致評分比實際"誤差的嚴重程度"更為嚴苛。對于這種情況，持續漸變的評分方式或者針對具體任務的專項評分函數可能更合適。

此外，有些精確編輯任務本質上不存在唯一正確答案——比如，變換一個形狀后，原本被遮住的背景區域應該用什么顏色填充？如果原始背景是純色的，這道題有唯一答案；但如果背景是復雜圖案，正確填充方式就有多種可能，需要更復雜的評判機制。

還有一點值得關注：PAINTBENCH聚焦于2D柵格圖像（即普通的位圖）的精確編輯，并不涉及視頻、3D場景、科學可視化或工程圖紙等領域。研究團隊認為，這套"程序生成題目、像素精確打分"的哲學完全可以延伸到上述所有領域，并將其視為后續研究的方向。

說到底，PAINTBENCH揭示的是一個頗為尷尬的現實：今天的AI圖像編輯模型，在"生成美觀圖片"這件事上已經相當出色，但在"精確執行人類指令"這件事上，還遠未達到可靠實用的水準。最強模型17.1%的總分意味著，如果你隨機從這20類任務中抽一道題讓最好的AI來做，平均來看它只能把不到兩成的像素改對。

這并非說這些模型毫無價值——它們在刪除和單一顏色填充任務上已經展現出相對實用的能力，在特定任務上也有高達40%甚至50%的分數。但對于那些要求"改對就是改對、改錯就是改錯"的精確應用場景，現有模型的能力缺口依然巨大。

PAINTBENCH提供了一把量尺，讓研究者和開發者能夠清楚地看到自己的模型距離"精確可用"還差多遠，也讓未來的改進方向更加清晰。這套測試體系的題庫是無限的，不會因為AI進步而"考題用完"，可以持續跟蹤該領域的真實進展，而不會像很多靜態測試集那樣隨著AI能力提升而失去區分度。

對于普通用戶來說，這項研究提醒我們：在用AI處理需要精確結果的圖像編輯任務時，最好在使用前明確了解它的局限，并對輸出結果做仔細的人工核查。而對于開發者和研究者，PAINTBENCH和TINYGRAFIXBENCH提供了一個客觀、可重現的基準，幫助他們診斷模型在哪類操作上最需要改進，以及哪些場景變化會最嚴重地拖累性能。有興趣深入了解完整方法和數據的讀者，可通過arXiv編號2606.00188查閱原論文。

Q&A

Q1：PAINTBENCH和其他AI圖像編輯測試有什么不同？

A：PAINTBENCH專門測試有唯一正確答案的精確編輯任務，用像素級別的直接比對打分，不依賴人類評審或裁判AI。這與大多數現有測試依賴主觀評分的方式完全不同，能客觀衡量AI的精確執行能力，而非"看起來好不好看"。

Q2：PAINTBENCH測試中表現最好的AI模型是哪個？

A：在1920道題目、滿分100分的mIoU評分體系下，谷歌的Nano-Banana-2（對應Gemini 3.1 Flash圖像版）以17.1分排名第一，OpenAI的GPT-Image-2以16.3分緊隨其后。值得注意的是，兩者在不同任務類別上各有所長，幾何變換和結構操控類任務由GPT-Image-2領先，而顏色變換和符號推理類任務則是Nano-Banana-2更勝一籌。

Q3：為什么AI在精確圖像編輯上表現這么差？

A：研究團隊的分析指出幾個主要原因：AI模型的訓練目標更偏向于生成視覺上合理的圖片，而非執行精確的像素級操作；模型傾向于改動比指令要求更多的區域；對非標準顏色代碼的精確復現能力不足，可能與訓練數據中常見顏色的比例過高有關。這些問題在幾何變換和復雜顏色公式類任務上尤為突出。