在醫(yī)療診斷、自動駕駛等高風險場景中，人工智能（AI）模型決策的可解釋性至關重要。據美國麻省理工學院官網近日消息稱，為了提高透明度，該校團隊開發(fā)出一種新方法，能夠從已訓練好的計算機視覺模型中自動提取關鍵概念，并迫使模型使用這些人類易于理解的概念進行解釋和預測。這項進展有望在提升模型準確性的同時，增強用戶對“黑盒”AI的信任。

概念瓶頸模型是增強AI可解釋性的常見技術。它是指在模型決策過程中增加一個中間步驟：先識別圖像中與任務相關的、可被人理解的“概念”，再基于這些概念做出最終預測。例如，在腫瘤診斷中，模型可能先識別“成簇的棕色斑點”這一概念，再判斷是否為黑色素瘤。

然而，傳統(tǒng)方法依賴人類專家或大語言模型預先定義概念集，這些概念可能與具體任務關聯性不強，或缺乏足夠細節(jié)，從而影響模型性能。另外，模型在訓練時也可能“暗中”使用了定義之外的其他特征，導致解釋與真實不符。

此次，團隊利用一個經過海量數據預訓練的視覺模型，認為其內部已蘊含了完成任務所需的知識。他們設計了一種兩階段流程來提取和轉化這些知識。首先，使用一個稱為稀疏自編碼器的專用模型，提取出最相關的特征，并將其壓縮為少量核心概念。接著，由一個多模態(tài)大語言模型將這些特征轉化為簡潔的自然語言描述，并自動為數據集中圖像標注這些概念真實與否。最后，利用這些標注數據訓練一個概念瓶頸模塊，并將其整合到原始模型中，強制模型僅使用這套提取的概念進行預測。

團隊在過程中限制了模型每次預測最多只能使用五個概念，迫使模型篩選出最關鍵的幾個特征，使生成的解釋既精煉又直接相關。

測試中，鳥類物種識別和皮膚病變診斷等任務結果均表明，新方法在提供更精確、與圖像更貼合的概念解釋的同時，也取得了比現有概念瓶頸模型更高的預測準確率。這意味著，該方法不僅能更好地“解讀”模型的思考過程，還能維持更優(yōu)的性能。

團隊未來的工作還將致力于解決信息泄露等問題，并探索利用更強大的多模態(tài)大模型來標注更大規(guī)模的數據，以進一步提升方法的效能。

（來源：科技日報）