英國交通部（DfT）與谷歌云及艾倫·圖靈研究所合作，共同開發(fā)了一款名為"咨詢分析工具"（CAT）的系統(tǒng)，專門用于分析公眾在政府咨詢活動中提交的反饋意見。

艾倫·圖靈研究所于2025年12月發(fā)布的一份報告指出，該項目是交通部推動人工智能（AI）工具應用、提升部門效能這一目標的重要組成部分。CAT工具能夠?qū)娮稍兎答佭M行主題分析，通過大語言模型將市民提交的自由文本內(nèi)容歸類至相應主題。

報告作者指出，盡管利用大語言模型開展主題分析相對容易，但"設計出符合人類偏好、具備適當人工監(jiān)督機制并擁有完善性能評估框架的系統(tǒng)，則要復雜得多"。

團隊重點關注的問題之一是人口統(tǒng)計偏見。報告指出，盡管CAT在大語言模型的提示詞中并未明確使用任何人口統(tǒng)計變量，但"大語言模型在處理英語表達不規(guī)范或含有社會文化特定用語（如冗長表述或俚語）的回復時，表現(xiàn)可能會有所下降"。

鑒于參與公眾咨詢的市民均為自愿參與，報告作者表示："我們認為，將有限的人力資源集中用于確保主題生成環(huán)節(jié)的準確性與質(zhì)量，尤為重要。"

報告作者還表示，引入"人在回路"機制能夠及時發(fā)現(xiàn)AI可能出現(xiàn)的錯誤或誤判，同時確保人類判斷在理解公眾意見方面始終處于核心地位。他們補充道："我們的方案將人工監(jiān)督正式納入主題審核環(huán)節(jié)，以及分析和報告撰寫階段。在這些階段，用戶會對CAT生成的分析結果進行核查，并篩選具有代表性的引用內(nèi)容。"

CAT采用大語言模型流水線，將公眾咨詢中每一條個人回復與經(jīng)人工驗證的主題進行對應匹配。匹配過程采用"多數(shù)投票"機制——多個大語言模型分別對某條咨詢回復進行主題分類，只有當多數(shù)模型達成一致時，該主題才會被正式歸類到該條回復。這一機制通常被稱為"大語言模型即裁判"（LLM-as-a-judge）。報告作者認為，該技術能夠在回復與主題之間建立全面的映射關系。

報告同時指出，CAT在將主題與特定人口群體的回復進行匹配時，準確率系統(tǒng)性地偏低。但報告也強調(diào)，CAT的設計包含多項降低偏見的保障措施，包括在提示詞中排除人口統(tǒng)計變量，以及對所有CAT生成主題實施人工審核。

報告作者表示："在人工審核的支持下，從數(shù)據(jù)集中提取所有'真實'核心主題的概率趨近于100%，而這正是CAT在實際應用中的工作方式。"

CAT基于谷歌的Vertex AI平臺構建，并使用Gemini模型。據(jù)交通部介紹，該工具能夠在數(shù)小時內(nèi)完成公眾反饋的主題識別與分類，而此前同樣的工作往往需要數(shù)月時間。目前，CAT已被用于支持"綜合國家交通戰(zhàn)略"公眾回復的分析工作，并協(xié)助改進駕駛考試預約規(guī)則。

Q&A

Q1：CAT咨詢分析工具是什么？它有什么用途？

A：CAT（咨詢分析工具）是英國交通部聯(lián)合谷歌云和艾倫·圖靈研究所共同開發(fā)的AI系統(tǒng)，基于谷歌Vertex AI平臺和Gemini模型構建。它的主要用途是通過大語言模型對公眾咨詢中的自由文本反饋進行主題分析，能夠在數(shù)小時內(nèi)完成過去需要數(shù)月才能完成的主題識別與分類工作，已應用于綜合國家交通戰(zhàn)略分析及駕駛考試預約規(guī)則改進等項目。

Q2：CAT工具如何防止AI分析產(chǎn)生人口統(tǒng)計偏見？

A：CAT采取了多項措施來降低偏見風險：首先，在大語言模型的提示詞中不引入任何人口統(tǒng)計變量；其次，引入"人在回路"機制，對所有CAT生成的主題進行人工審核，確保AI的錯誤或誤判能被及時發(fā)現(xiàn)；此外，在分析和報告撰寫階段，用戶也會對CAT生成的結果進行核查并篩選代表性引用，從而使核心主題的提取準確率趨近100%。

Q3：CAT使用的"多數(shù)投票"機制是怎么運作的？

A：CAT采用"多數(shù)投票"系統(tǒng)進行主題映射，即讓多個大語言模型分別對同一條公眾咨詢回復進行主題分類，只有當多數(shù)模型對某一主題達成一致時，該主題才會被正式歸類到對應的回復。這種機制也被稱為"大語言模型即裁判"（LLM-as-a-judge），能夠在回復與主題之間建立更全面、更可靠的映射關系。