這項(xiàng)由香港大學(xué)、西湖大學(xué)以及獨(dú)立研究者合作完成的研究發(fā)表于2026年ICLR會議，論文編號為arXiv:2604.02648v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。

想象一下，你剛買了一款新的電子游戲，滿懷期待地開始游戲，卻發(fā)現(xiàn)角色會莫名其妙地卡在墻里，或者道具突然消失不見。這些讓人沮喪的問題就是軟件漏洞，而找出這些問題的工作通常由專業(yè)的質(zhì)量保證工程師來完成?，F(xiàn)在，研究人員想要看看人工智能是否也能勝任這項(xiàng)工作。

在軟件開發(fā)的世界里，有一個經(jīng)典的循環(huán)過程：程序員寫代碼，測試人員找漏洞，程序員修復(fù)漏洞，然后繼續(xù)循環(huán)。這就像是一場永無止境的貓鼠游戲。目前的人工智能在"寫代碼"和"修復(fù)漏洞"方面已經(jīng)表現(xiàn)得相當(dāng)出色，但在"找漏洞"這個環(huán)節(jié)卻還是個新手。這就好比有了厲師傅能修車，也有了巧匠能造車，但缺少一個火眼金睛的檢驗(yàn)師來發(fā)現(xiàn)車子哪里有問題。

這項(xiàng)研究的創(chuàng)新之處在于，它是第一個專門評估AI自主發(fā)現(xiàn)軟件漏洞能力的綜合性基準(zhǔn)測試。研究團(tuán)隊(duì)創(chuàng)建了一個名為GBQA的游戲基準(zhǔn)，包含30個不同類型的游戲環(huán)境和124個經(jīng)過人工驗(yàn)證的真實(shí)漏洞。這些漏洞就像是故意藏在游戲里的"地雷"，看AI能否通過自主探索找到它們。

一、游戲世界里的"漏洞偵探"

為什么選擇游戲作為測試場景呢？這個選擇其實(shí)非常巧妙。游戲就像是一個微型的軟件世界，它有著完整的規(guī)則系統(tǒng)、用戶交互界面，還有復(fù)雜的內(nèi)部狀態(tài)管理。更重要的是，游戲的行為是可以預(yù)測的——當(dāng)你按下跳躍鍵時，角色應(yīng)該跳起來，當(dāng)你拾取物品時，物品應(yīng)該出現(xiàn)在背包里。

研究團(tuán)隊(duì)把AI比作一個專業(yè)的游戲測試員。傳統(tǒng)的游戲測試員會坐在電腦前，反復(fù)嘗試各種操作，觀察游戲是否按預(yù)期運(yùn)行。他們會嘗試走到地圖邊緣看看會不會掉出去，會反復(fù)點(diǎn)擊同一個按鈕看看會不會卡住，會用各種奇怪的操作組合來"折磨"游戲?，F(xiàn)在，AI也要學(xué)會做這些事情。

但這里有個關(guān)鍵區(qū)別：人類測試員通常會被告知"這里可能有個問題，去查一下"，而AI必須完全靠自己發(fā)現(xiàn)問題所在。這就像是讓一個偵探在沒有任何線索的情況下，僅憑直覺在一座巨大的城市里找到可能存在的犯罪現(xiàn)場。

研究團(tuán)隊(duì)設(shè)計(jì)的基準(zhǔn)包含了六種不同類型的游戲：動作、冒險(xiǎn)、角色扮演、策略、模擬和解謎游戲。每種游戲都有其獨(dú)特的機(jī)制和可能出現(xiàn)的問題類型。比如，動作游戲可能會有角色移動異常的問題，策略游戲可能會有資源計(jì)算錯誤，而解謎游戲可能會有邏輯判斷失誤。

二、構(gòu)建AI測試員的"訓(xùn)練場"

創(chuàng)建這樣一個綜合測試環(huán)境絕非易事。研究團(tuán)隊(duì)開發(fā)了一套多智能體協(xié)作系統(tǒng)來自動生成游戲環(huán)境，這個系統(tǒng)就像是一個虛擬的游戲開發(fā)工作室。

這個虛擬工作室有一個制作人負(fù)責(zé)總體規(guī)劃，然后有三個專門的團(tuán)隊(duì)：設(shè)計(jì)團(tuán)隊(duì)負(fù)責(zé)構(gòu)思游戲玩法和規(guī)則，編程團(tuán)隊(duì)負(fù)責(zé)實(shí)現(xiàn)具體功能，美術(shù)團(tuán)隊(duì)負(fù)責(zé)制作游戲界面和視覺元素。每個團(tuán)隊(duì)都有自己的團(tuán)隊(duì)負(fù)責(zé)人，負(fù)責(zé)將大任務(wù)分解成小任務(wù)，然后分配給具體的工作人員去完成。

更有趣的是，這個系統(tǒng)還會故意在游戲中植入各種類型的漏洞。這就像是在建房子的時候故意留下一些結(jié)構(gòu)問題，然后看建筑檢查員能否發(fā)現(xiàn)它們。這些漏洞不是隨意放置的，而是根據(jù)難度級別精心設(shè)計(jì)的。

研究團(tuán)隊(duì)將漏洞分為三個難度等級。簡單級別的漏洞就像是房間里明顯擺錯位置的家具，一眼就能看出問題，比如角色說話時文字顯示混亂，或者點(diǎn)擊按鈕沒有任何反應(yīng)。中等難度的漏洞需要玩家進(jìn)行一系列操作才會暴露，就像是需要按特定順序操作才會出現(xiàn)故障的家電。困難級別的漏洞則需要長時間的探索和復(fù)雜的操作序列才會顯現(xiàn)，就像是只有在特定條件下才會露出馬腳的隱藏問題。

為了確保這些人工植入的漏洞是真實(shí)有效的，研究團(tuán)隊(duì)還請來了三位專業(yè)的質(zhì)量保證工程師對每個漏洞進(jìn)行驗(yàn)證。只有當(dāng)多位專家都確認(rèn)某個現(xiàn)象確實(shí)是漏洞時，它才會被正式納入測試基準(zhǔn)。這個過程就像是法庭上需要多個證人的證詞才能確定事實(shí)一樣。

三、AI測試員的"工作流程"

那么，AI是如何在游戲中尋找漏洞的呢？研究團(tuán)隊(duì)為AI設(shè)計(jì)了一套完整的工作流程，這個流程模仿了人類測試員的思維模式。

首先，AI會像一個好奇的玩家一樣開始探索游戲世界。它會嘗試各種操作，觀察游戲的反應(yīng)，并在心中建立對游戲應(yīng)該如何運(yùn)行的期望。這就像是一個人第一次玩某款游戲時，通過試錯來理解游戲規(guī)則。

當(dāng)AI執(zhí)行某個操作時，它會預(yù)測應(yīng)該發(fā)生什么，然后將實(shí)際發(fā)生的情況與預(yù)期進(jìn)行比較。如果兩者不符，AI就會產(chǎn)生懷疑："咦，這里好像不對勁。"比如，當(dāng)AI嘗試拾取一個道具時，它預(yù)期道具應(yīng)該消失并出現(xiàn)在背包中，但如果道具消失了而背包里卻沒有，AI就會察覺到異常。

發(fā)現(xiàn)異常后，AI不會立即下結(jié)論，而是會進(jìn)行進(jìn)一步驗(yàn)證。它會重復(fù)相同的操作，或者嘗試相似的操作，看看問題是否能夠重現(xiàn)。這就像是一個謹(jǐn)慎的偵探，會反復(fù)檢查證據(jù)以確保自己的推斷正確。

如果問題能夠穩(wěn)定重現(xiàn)，AI就會生成一份詳細(xì)的漏洞報(bào)告。這份報(bào)告包含問題的描述、重現(xiàn)步驟、預(yù)期行為和實(shí)際行為的對比，以及對問題嚴(yán)重程度的評估。這就像是醫(yī)生給病人做完檢查后寫的病歷，詳細(xì)記錄癥狀和診斷結(jié)果。

為了應(yīng)對游戲中復(fù)雜的長期探索需求，研究團(tuán)隊(duì)還為AI設(shè)計(jì)了一套記憶系統(tǒng)。這個記憶系統(tǒng)分為兩層：短期記憶負(fù)責(zé)記住當(dāng)前游戲會話中的操作歷史，長期記憶則保存跨會話的經(jīng)驗(yàn)和發(fā)現(xiàn)。這就像是人類既有工作記憶來處理當(dāng)前任務(wù)，又有長期記憶來存儲過往經(jīng)驗(yàn)。

四、AI測試員的實(shí)際表現(xiàn)

那么，AI在這個測試中表現(xiàn)如何呢？研究結(jié)果既令人鼓舞，又暴露了當(dāng)前AI的局限性。

研究團(tuán)隊(duì)測試了多個最先進(jìn)的AI模型，包括Claude、GPT、Gemini等知名系統(tǒng)。即使是表現(xiàn)最好的模型，也只能發(fā)現(xiàn)大約一半的漏洞。具體來說，Claude-4.6-Opus在"思考模式"下的表現(xiàn)最佳，發(fā)現(xiàn)了48.39%的已知漏洞。這就像是一個還在培訓(xùn)中的檢查員，雖然已經(jīng)掌握了基本技能，但距離資深專家還有不小差距。

更有趣的是，研究團(tuán)隊(duì)發(fā)現(xiàn)了一些值得注意的規(guī)律。首先，當(dāng)AI能夠查閱游戲的設(shè)計(jì)文檔和源代碼時，它的表現(xiàn)會明顯提升。這很容易理解，就像是給檢查員提供了建筑藍(lán)圖，他們自然更容易發(fā)現(xiàn)結(jié)構(gòu)問題。

其次，給AI更多的探索時間確實(shí)能幫助它發(fā)現(xiàn)更多漏洞，但這種改進(jìn)主要體現(xiàn)在復(fù)雜漏洞的發(fā)現(xiàn)上。簡單的漏洞通常在前幾次操作中就能被發(fā)現(xiàn)，而復(fù)雜的漏洞可能需要數(shù)百次操作才會暴露。這就像是有些房屋問題在第一次參觀時就能看出，而有些問題只有住久了才會顯現(xiàn)。

研究還發(fā)現(xiàn)，AI在處理不同難度級別的漏洞時表現(xiàn)差異很大。對于簡單的表面問題，AI的識別能力相當(dāng)不錯，但面對需要長期跟蹤和復(fù)雜推理的困難漏洞時，AI往往力不從心。這反映了當(dāng)前AI在長期規(guī)劃和復(fù)雜邏輯推理方面的不足。

五、記憶系統(tǒng)的重要作用

為了深入了解AI的工作機(jī)制，研究團(tuán)隊(duì)專門測試了記憶系統(tǒng)的作用。結(jié)果顯示，記憶系統(tǒng)對AI的表現(xiàn)有著至關(guān)重要的影響。

沒有記憶系統(tǒng)的AI就像是患了短期失憶癥的偵探，它會不斷重復(fù)已經(jīng)做過的檢查，忘記之前發(fā)現(xiàn)的線索，無法形成對問題的整體認(rèn)知。而擁有完整記憶系統(tǒng)的AI能夠避免重復(fù)勞動，積累經(jīng)驗(yàn)，并且能夠發(fā)現(xiàn)那些需要長期觀察才能顯現(xiàn)的問題。

研究團(tuán)隊(duì)設(shè)計(jì)的記憶系統(tǒng)有兩個層次。會話內(nèi)記憶幫助AI在單次游戲過程中保持連貫的思路，避免原地打轉(zhuǎn)?？鐣捰洃泟t讓AI能夠在多次游戲之間傳承經(jīng)驗(yàn)，形成更系統(tǒng)的測試策略。這就像是一個經(jīng)驗(yàn)豐富的檢查員，既能在單次檢查中保持專注，又能在多次檢查中不斷完善自己的方法論。

實(shí)驗(yàn)數(shù)據(jù)清楚地顯示了記憶系統(tǒng)的價值。配備完整記憶系統(tǒng)的AI比沒有記憶的AI表現(xiàn)好很多，而且這種差距隨著任務(wù)復(fù)雜度的增加而擴(kuò)大。這說明復(fù)雜的軟件測試工作確實(shí)需要系統(tǒng)性的方法和經(jīng)驗(yàn)積累，單純的即時反應(yīng)是不夠的。

六、從游戲測試到自動化軟件開發(fā)

這項(xiàng)研究的意義遠(yuǎn)遠(yuǎn)超出了游戲測試本身。研究團(tuán)隊(duì)展示了一個完整的自動化軟件開發(fā)循環(huán)的可能性。在這個循環(huán)中，AI測試員負(fù)責(zé)發(fā)現(xiàn)問題，AI程序員負(fù)責(zé)修復(fù)問題，整個過程幾乎不需要人類干預(yù)。

研究團(tuán)隊(duì)用一個具體案例展示了這個過程。他們選擇了基準(zhǔn)測試中的一個文本冒險(xiǎn)游戲CASTLE作為實(shí)驗(yàn)對象。這個游戲模擬了一個有八個房間的鬼屋探險(xiǎn)，玩家需要收集三個鑰匙碎片來打開最終的門。游戲中故意植入了三個不同類型的漏洞：一個邏輯錯誤讓玩家可以用兩個碎片就組成完整鑰匙，一個描述錯誤會提前透露隱藏物品，一個數(shù)據(jù)不一致問題會讓掉落的物品從房間描述中消失。

AI測試員通過三輪探索逐步發(fā)現(xiàn)了所有三個漏洞。第一輪發(fā)現(xiàn)了兩個較明顯的問題，第二輪驗(yàn)證修復(fù)結(jié)果并發(fā)現(xiàn)了剩余問題，第三輪進(jìn)行最終確認(rèn)。與此同時，AI程序員根據(jù)漏洞報(bào)告對代碼進(jìn)行相應(yīng)修改。整個過程實(shí)現(xiàn)了100%的漏洞發(fā)現(xiàn)率和修復(fù)率。

這個案例展示了AI在軟件開發(fā)流程中發(fā)揮更大作用的可能性。雖然目前這種能力還局限于相對簡單的場景，但它指向了一個有趣的未來：軟件可能會在很大程度上實(shí)現(xiàn)自我完善。

七、當(dāng)前AI的局限性與未來展望

盡管取得了積極進(jìn)展，但研究也清楚地暴露了當(dāng)前AI在軟件測試方面的局限性。最突出的問題是AI在處理復(fù)雜、長期依賴關(guān)系時的困難。

當(dāng)漏洞的觸發(fā)需要一系列復(fù)雜操作，或者問題的后果要在很久之后才顯現(xiàn)時，AI往往無法建立正確的因果聯(lián)系。這就像是一個缺乏經(jīng)驗(yàn)的醫(yī)生，能夠識別明顯的癥狀，但難以診斷需要長期觀察或復(fù)雜推理的疾病。

另一個重要局限是AI缺乏人類測試員的創(chuàng)造性思維。經(jīng)驗(yàn)豐富的測試員會嘗試各種"破壞性"操作，故意以非常規(guī)方式使用軟件來暴露潛在問題。他們會問"如果我這樣做會怎樣？"并嘗試開發(fā)者可能沒有考慮到的極端場景。目前的AI更多是按照既定模式工作，缺乏這種創(chuàng)造性的"搗亂"能力。

此外，AI在理解隱含需求和用戶期望方面還有不足。軟件測試不僅要檢查程序是否按設(shè)計(jì)運(yùn)行，還要判斷設(shè)計(jì)本身是否合理。一個功能可能完全按照規(guī)格說明實(shí)現(xiàn)，但仍然讓用戶感到困惑或沮喪。這種微妙的判斷目前還主要依賴人類的經(jīng)驗(yàn)和直覺。

不過，研究團(tuán)隊(duì)對未來持樂觀態(tài)度。他們認(rèn)為，隨著AI在推理能力、長期規(guī)劃和創(chuàng)造性思維方面的進(jìn)步，自動化軟件測試的效果會不斷提升。更重要的是，這項(xiàng)研究為評估和改進(jìn)AI的軟件測試能力提供了標(biāo)準(zhǔn)化的平臺，這將加速相關(guān)技術(shù)的發(fā)展。

八、對軟件開發(fā)行業(yè)的影響

這項(xiàng)研究對整個軟件開發(fā)行業(yè)具有深遠(yuǎn)的潛在影響。如果AI真的能夠勝任軟件測試工作，那么軟件開發(fā)的效率和質(zhì)量都可能得到顯著提升。

從效率角度看，AI測試員可以24小時不間斷工作，不會感到疲勞或厭煩。它們可以以遠(yuǎn)超人類的速度執(zhí)行重復(fù)性測試任務(wù)，釋放人類測試員去處理更需要創(chuàng)造性和判斷力的工作。這就像是工廠引入自動化生產(chǎn)線，雖然不會完全取代工人，但會改變工人的角色和工作內(nèi)容。

從質(zhì)量角度看，AI的一致性和細(xì)致程度可能超過人類。人類測試員可能會因?yàn)槠诨蚴韬龆z漏某些問題，而AI只要程序設(shè)計(jì)得當(dāng)，就會以相同的標(biāo)準(zhǔn)檢查每一個細(xì)節(jié)。這種一致性對于確保軟件質(zhì)量非常重要。

但這并不意味著人類測試員會被完全取代。更可能的情況是，AI負(fù)責(zé)大量的基礎(chǔ)性、重復(fù)性測試工作，而人類測試員專注于需要創(chuàng)造性思維、用戶體驗(yàn)判斷和復(fù)雜場景設(shè)計(jì)的高級測試任務(wù)。這種人機(jī)協(xié)作的模式可能會成為未來軟件測試的主流。

對于軟件開發(fā)者來說，這項(xiàng)技術(shù)的成熟可能會降低軟件開發(fā)的門檻。目前，很多小團(tuán)隊(duì)或個人開發(fā)者由于缺乏專業(yè)的測試資源而難以保證軟件質(zhì)量。如果AI能夠提供可靠的自動化測試服務(wù)，這些開發(fā)者就能夠以更低的成本開發(fā)出更高質(zhì)量的軟件。

九、研究方法的創(chuàng)新價值

除了實(shí)際應(yīng)用價值，這項(xiàng)研究在方法論上也有重要創(chuàng)新。它展示了如何為復(fù)雜的AI能力建立客觀的評估標(biāo)準(zhǔn)。

傳統(tǒng)的AI評估往往聚焦于單一任務(wù)的性能指標(biāo)，比如圖像識別的準(zhǔn)確率或語言翻譯的流暢度。但軟件測試是一個涉及探索、推理、記憶、判斷等多種能力的綜合性任務(wù)，很難用簡單指標(biāo)衡量。這項(xiàng)研究通過構(gòu)建標(biāo)準(zhǔn)化的測試環(huán)境和詳細(xì)的評估流程，為這類復(fù)雜能力的評估提供了可行方案。

研究團(tuán)隊(duì)創(chuàng)建的多智能體游戲生成系統(tǒng)本身也是一個重要貢獻(xiàn)。這個系統(tǒng)能夠自動生成多樣化的測試場景，并在其中植入各種類型的漏洞。這種可擴(kuò)展的測試環(huán)境生成方法可以應(yīng)用到其他需要大量測試數(shù)據(jù)的AI研究領(lǐng)域。

另外，研究中使用的人工驗(yàn)證和自動評估相結(jié)合的方法也值得借鑒。通過讓多位專家獨(dú)立驗(yàn)證漏洞的有效性，研究確保了測試基準(zhǔn)的質(zhì)量。同時，使用AI系統(tǒng)自動評估其他AI系統(tǒng)的表現(xiàn)，提高了評估的效率和一致性。這種混合評估方法在其他AI能力評估中也有廣泛應(yīng)用價值。

說到底，這項(xiàng)研究開啟了AI在軟件開發(fā)中發(fā)揮更大作用的可能性。雖然目前AI測試員的能力還不完美，但它們已經(jīng)展現(xiàn)出了實(shí)用的潛力。隨著技術(shù)的不斷進(jìn)步，我們可能會看到一個軟件能夠在很大程度上自我改進(jìn)和完善的未來。

對于普通用戶來說，這意味著我們將能夠享受到更穩(wěn)定、更可靠的軟件產(chǎn)品。那些讓人頭疼的軟件崩潰、功能異常和用戶體驗(yàn)問題可能會越來越少。對于軟件開發(fā)者來說，這項(xiàng)技術(shù)可能會成為提升開發(fā)效率和產(chǎn)品質(zhì)量的重要工具。

當(dāng)然，這個未來還需要時間來實(shí)現(xiàn)。目前的AI測試員更像是一個勤奮但經(jīng)驗(yàn)不足的新手，需要在實(shí)踐中不斷學(xué)習(xí)和改進(jìn)。但正如這項(xiàng)研究所顯示的，第一步已經(jīng)邁出，而且方向是正確的。在不久的將來，當(dāng)你使用某個軟件時發(fā)現(xiàn)它運(yùn)行得特別流暢，沒有任何問題，你可能要感謝在幕后默默工作的AI測試員了。

Q&A

Q1：GBQA基準(zhǔn)測試是什么？

A：GBQA是香港大學(xué)等研究團(tuán)隊(duì)開發(fā)的游戲基準(zhǔn)，專門用來測試AI自主發(fā)現(xiàn)軟件漏洞的能力。它包含30個不同類型的游戲環(huán)境和124個經(jīng)過人工驗(yàn)證的真實(shí)漏洞，就像是專門為AI測試員設(shè)計(jì)的"訓(xùn)練場"。

Q2：AI在軟件測試中的表現(xiàn)如何？

A：目前AI的表現(xiàn)還不夠完美。即使是最先進(jìn)的Claude-4.6-Opus模型，也只能發(fā)現(xiàn)大約48%的已知漏洞。AI在發(fā)現(xiàn)簡單、明顯的問題方面表現(xiàn)不錯，但面對需要長期跟蹤和復(fù)雜推理的困難漏洞時還力不從心。

Q3：AI測試員會取代人類軟件測試工程師嗎？

A：短期內(nèi)不會完全取代。更可能的情況是AI負(fù)責(zé)基礎(chǔ)性、重復(fù)性的測試工作，而人類測試員專注于需要創(chuàng)造性思維和復(fù)雜判斷的高級測試任務(wù)，形成人機(jī)協(xié)作的模式。