從頭到神經元：多任務視覺-語言模型中的因果歸因與操控

From Heads to Neurons: Causal Attribution and Steering in Multi-Task Vision–Language Models

https://arxiv.org/pdf/2604.17941

摘要
近期研究日益聚焦于視覺-語言模型（VLMs）中的神經元層面解釋，以識別對最終預測至關重要的神經元。然而，現有的神經元分析通常僅針對單一任務，限制了不同任務間神經元重要性的可比性。此外，排序策略傾向于孤立地對神經元進行評分，忽視了任務依賴的信息通路如何塑造前饋網絡（FFN）神經元的寫入效應。這種忽視可能在多任務設置中加劇神經元的多義性（polysemanticity），從而在對任務關鍵神經元的識別與干預過程中引入噪聲。在本研究中，我們提出了 HONES（Head-Oriented Neuron Explanation & Steering，面向注意力頭的神經元解釋與調控），一種無需梯度的框架，用于多任務 VLM 中任務感知的神經元歸因與調控。HONES 根據 FFN 神經元在任務相關注意力頭條件下的因果寫入貢獻對其進行排序，并進一步通過輕量級縮放對顯著神經元進行調制。在四種多樣化的多模態任務及兩個主流 VLM 上的實驗表明，HONES 在識別任務關鍵神經元方面優于現有方法，并在調控后提升了模型性能。我們的源代碼已發布于：https://github.com/petergit1/HONES。

1 引言
大型視覺-語言模型（VLMs）在廣泛的視覺-語言應用中展現出強大的多任務能力，包括視覺問答（VQA）（Liu et al., 2023; Dai et al., 2023）、光學字符識別（OCR）（Ye et al., 2023; Hu et al., 2025）以及圖像描述生成（Li et al., 2023; Liu et al., 2025）。盡管這些模型性能卓越，但其內部決策過程仍然不透明，因為多種能力糾纏于共享參數之中，阻礙了錯誤歸因，并限制了其在實際部署中的可靠性與可控性。為彌補這一差距，近期研究日益聚焦于模型可解釋性，尤其是神經元層面的分析，這為模型診斷與編輯提供了細粒度且可操作的洞察（Lin et al., 2025; Shu et al., 2025; Meng et al., 2022）。

現有的神經元分析主要集中于大型語言模型（LLMs）（Zhao et al., 2024; Tang et al., 2024; Yu and Ananiadou, 2024）。近期，這類研究開始擴展至多模態場景（Huang et al., 2024; Huo et al., 2024; Pach et al., 2025）。該領域的研究主要沿兩條路徑展開：（1）對神經元進行排序，以識別對模型預測最顯著的神經元（Wang et al., 2025a; Dang et al., 2024）；（2）分析單個神經元所編碼的語義信息（Pach et al., 2025; Sajjad et al., 2022）。

盡管取得了顯著進展，現有的神經元分析方法仍面臨兩個關鍵局限。首先，它們通常僅聚焦于單一任務（例如 VQA）內的神經元解釋，導致這些可解釋性方法在不同任務間的可比性尚未得到充分探索。這一問題在具有不同特征與異構輸出的任務（如問答任務與圖像-文本匹配任務）中尤為突出。其次，許多方法孤立地分析神經元，這不僅導致高昂的計算成本（尤其在具有龐大前饋網絡（FFN）層的大型 VLM 中），在長上下文多模態場景中更是難以承受。此外，在忽略注意力頭提供的任務相關路由上下文的情況下獨立處理神經元，可能會加劇多任務 VLM 中神經元的多義性（polysemanticity）（Oikarinen and Weng, 2024; Haider et al., 2025）。因此，參與多條路由路徑的神經元可能獲得被高估的重要性評分，最終導致對真正任務相關神經元的識別引入更多噪聲。

為解決上述問題，我們提出了 HONES（Head-Oriented Neuron Explanation & Steering，面向注意力頭的神經元解釋與調控），一個統一的、無需梯度的框架，用于多任務 VLM 中上下文引導的神經元歸因，從而實現跨異構輸出的可解釋性一致性。具體而言，HONES 基于對模型計算的結構化因果視角構建：注意力頭負責選擇并路由任務關鍵輸入，而下游的 FFN 神經元則將路由后的信息寫入殘差流以生成最終預測（Elhage et al., 2021）?；谶@一考量，我們首先通過因果干預定位任務關鍵的注意力頭，隨后利用這些路由信號引導下游神經元的歸因。基于我們的發現，我們進一步引入了一種輕量級的調控方法：凍結模型主干，僅學習針對已識別任務關鍵神經元的稀疏縮放因子，從而實現可控的、面向特定任務的性能提升。

我們在四種多樣化的多模態任務（即 VQA、OCR、圖像描述生成與圖像-文本檢索）上應用 HONES，并在兩個具有代表性的 VLM（即 LLaVA 與 Qwen）上進行評估。我們的主要發現包括：（1）在所有任務及兩個 VLM 上，HONES 在識別任務關鍵神經元方面均優于現有最先進的神經元排序方法；（2）任務關鍵神經元呈現出任務依賴的層偏好；（3）跨多個任務共享的關鍵神經元比任務特異性神經元更為顯著，尤其是那些與 VQA 任務重疊的神經元；（4）我們的輕量級調控方法在兩個 VLM 的所有四項任務上均能有效提升性能。

總體而言，我們的主要貢獻如下：

• 我們提出了 HONES，一個以注意力頭為條件、無需梯度的框架，用于多任務 VLM 中的神經元層面因果歸因與調控，其中 FFN 神經元是在任務相關的路由上下文中被識別，而非孤立評分。
• 我們揭示了關于任務關鍵神經元模式的多種新穎見解，增進了對 VLM 在跨任務泛化中機制的理解。
• 我們應用 HONES，通過對已識別的任務關鍵神經元進行輕量級調控來提升模型性能。在四種多樣化多模態任務及兩個 VLM 上的實驗表明，該方法能帶來一致的性能提升。

2 相關工作
大型視覺-語言模型（VLMs）：現有的大型視覺-語言模型通常將強大的視覺編碼器與大語言模型（LLM）相結合。

大型視覺-語言模型（VLMs）
主流的訓練策略包括如 Flamingo (Alayrac et al., 2022) 所采用的上下文多模態條件化，以及面向通用任務執行的視覺指令微調（例如 LLaVA (Liu et al., 2023) 和 InstructBLIP (Dai et al., 2023)）。這些模型（尤其是開源模型）在支持更高分辨率視覺輸入和以文檔為中心的理解方面取得了穩步進展，正如 InternVL (Chen et al., 2024)、mPLUG-Owl2 (Ye et al., 2024) 和 Qwen2.5-VL (Bai et al., 2025) 所展示的那樣。盡管功能相似，但它們在視覺信號的注入方式以及多任務行為在內部的路由機制上存在差異，這促使了跨骨干網絡的機制分析。在本工作中，我們聚焦于兩個代表性模型——LLaVA-1.5-7B (Liu et al., 2023) 和 Qwen2.5-VL-7B (Bai et al., 2025)，以評估我們的發現與調控方法在不同模型架構間的泛化能力。

神經元級可解釋性
VLM 中現有的神經元級可解釋性研究在很大程度上繼承了基于 LLM 的研究策略。例如，先前工作將 FFN/MLP 模塊視為類記憶與計算單元，它們將信息“寫入”殘差流，定位與特定事實/能力相關的關鍵神經元，并通過針對性干預驗證其因果作用（Geva et al., 2021; Dai et al., 2022）。近期，字典學習與稀疏自編碼器（SAE）的研究凸顯了特征（而非單個神經元）能夠提供更穩定的分析單元，從而緩解多義性并增強可解釋性（Bricken et al., 2023）。基于這一基礎，現有的 VLM 神經元級研究可劃分為兩個互補的脈絡：（1）模型結構的因果分析，以及（2）潛在表示的語義分析。前者側重于識別哪些組件因果性地驅動輸出行為，涵蓋基于干預的分析以及基于激活的神經元發現（隨后進行消融或門控驗證）（例如，領域特異性神經元（Huo et al., 2024）、模態特異性神經元（Huang et al., 2024）以及文化敏感神經元（Zhao et al., 2026））。該脈絡還包括與讀出端對齊的神經元評分方法，如預測概率變化法（Yu and Ananiadou, 2024），以及更廣泛的歸因方法；后者將神經元重要性與輸出端的變化相錨定，從而產生更直接且可驗證的貢獻映射（Schwettmann et al., 2023; Pan et al., 2024; Fang et al., 2024; Wang et al., 2025a）。

相關地，MultEdit (Basu et al., 2024) 通過對多模態大語言模型中早期因果 MLP 模塊進行編輯，提供了互補的機制性證據。后者則主要以基于稀疏自編碼器（SAE）的稀疏字典學習為代表，該方法學習稀疏且更具單義性（monosemantic）的特征因子，以刻畫高層語義如何在表示空間中被組織，并已被擴展至視覺或視覺-語言表示，以支持可解釋性分析與調控（Pach et al., 2025; Lim et al., 2025）。

我們的工作與現有方法在三個方面存在差異。首先，與依賴詞元級目標與反事實構造的基于干預的分析不同，HONES 提供了一個統一的評分接口，適用于異構的任務讀出端，這對于開放端生成與檢索排序任務尤為有用。其次，與讀出端對齊的歸因方法不同，HONES 將神經元評分以已定位的證據路由注意力頭為條件，從而在共享參數下得到更清晰、更具可比性的神經元集合。第三，HONES 無需梯度且具備可擴展性：一旦關鍵路由頭被識別，它僅需固定數量的額外前向傳播，并以向量化方式聯合計算所有 FFN 神經元的評分，避免了細粒度因果方法中逐單元修補（per-unit patching）的瓶頸。與基于特征的方法（如 SAE）相比，HONES 還具有模型原生（model-native）特性，可直接支持對原始骨干網絡的因果歸因與輕量級調控，無需額外的特征學習。

3 預備知識

4 方法

4.1 關鍵頭定位

我們的主要目標是識別任務關鍵型的 FFN 神經元。鑒于 FFN 的寫入值（write-ins）是通過自注意力機制進行路由和聚合的，我們在進行神經元級歸因之前，首先定位一組稀疏的關鍵“路由節點”（即注意力頭）。這一步對于約束搜索空間并分離出有效的計算路徑至關重要。

4.2 細粒度定位：頭引導的神經元歸因

4.3 推理時引導 (Inference-time Steering)

5 實驗

5.1 實驗設置

任務與數據。 我們專注于四個流行的視覺 - 語言任務：VQA（視覺問答）、OCR（光學字符識別）、圖像描述（Caption）和圖文檢索（Retrieval）。為了確保任務間的可比性，我們基于 MS COCO (Lin et al., 2014) 的 train2014 劃分構建了一個統一的多任務基準。具體而言，我們識別出來自 COCO-Text (Veit et al., 2016)、MSCOCO Captions (Chen et al., 2015) 和 VQAv2 (Goyal et al., 2017) 的共享圖像，并整理了一個包含 12,000 張圖像的子集，其中每張圖像都包含來自相應源基準的所有任務的人工標注。遵循先前工作 (Huo et al., 2024) 的標準做法，我們將數據劃分為 7K 用于神經元分析，2K 用于模型引導參數微調，以及 3K 用于測試（詳見附錄 A）。

基礎 VLM 與基線方法。 我們采用兩個廣泛使用的 VLM 作為基礎模型：LLaVA-1.5-7B (Liu et al., 2023) 和 Qwen2.5-VL-7B (Bai et al., 2025)。為了評估 HONES 在識別關鍵神經元方面的有效性，我們在所有四個任務上將我們的方法與三種最先進的基于激活的神經元排序方法進行了比較：(1) 激活概率 (AP) (Huang et al., 2024)，(2) 平均激活 (MA) (Xu et al., 2025)，以及 (3) 激活概率熵 (APE) (Huo et al., 2024)。這些方法在任務間天然具有可比性，因為它們僅依賴激活統計量，不需要任務特定的監督信號或讀出特定的代理目標。除了激活統計排序外，我們還將 HONES 與其他常用的神經元排序策略進行了比較，范圍從 logit 歸因到因果追蹤再到基于梯度的歸因。我們僅在 VQA 上進行這些比較，因為它提供了天然定義的 token 級監督。將相同的設置擴展到 OCR、描述和檢索等任務將需要任務特定的聚合或代理目標，從而降低跨任務的可比性。我們額外的基線包括 (4) 直接 logit 歸因 (DLA) (Elhage et al., 2021)，(5) 帶有神經元組的激活修補 (Group Patching) (Zhang and Nanda, 2024)，(6) QRNCA (Chen et al., 2025)，一種基于梯度的神經元排序方法，以及 (7) 神經元級知識歸因 (LLM-Knowledge) (Yu and Ananiadou, 2024)。為了進一步評估我們神經元級干預策略的優勢，我們考慮了四個控制變體：隨機神經元掩碼 (RandNeuron)，一種無頭條件化的消融變體 (HONES-NoHead)，帶有隨機注意力頭掩碼的 HONES (HONES-RandHead)，以及帶有高斯噪聲注入的 HONES (HONES-Gaussian)。

關于模型引導，我們通過將 HONES 與預算匹配的基線進行比較來評估有效性和分布外 (OOD) 泛化能力：(1) 對 HONES 識別的神經元進行固定的均勻兩倍放大 (Fixed-Amp)，(2) 對這些神經元進行網格搜索和均勻放大 (Grid-Search)，(3) 對隨機神經元進行可學習縮放 (RandNeuron)，以及 (4) 無 KL 正則化的 HONES 引導 (HONES w/o KL)。我們也測試了 LoRA，但發現在我們的低預算設置下它效果不佳。

指標。 我們使用標準指標衡量每個任務上的模型性能：VQA 使用準確率，OCR 使用平均歸一化 Levenshtein 相似度 (ANLS) (Biten et al., 2019)，Caption 使用 BLEU-4 (Papineni et al., 2002)，Retrieval 使用 NDCG@5 (J?rvelin and Kek?l?inen, 2002)。額外的實現細節和提示模板見附錄 A。

5.2 神經元分析中的關鍵發現

與基于激活的方法相比，HONES 在關鍵神經元定位方面表現更優。 表 1 和表 2 展示了在兩個基礎 VLM 的四個任務中，由每種解釋方法選出的前 1% 神經元被掩碼（masking）后引起的相對性能下降。基于實證驗證（見附錄 D.2），HONES 分別通過使用 LLaVA 中排名前 30 的注意力頭和 Qwen 中排名前 25 的注意力頭對關鍵神經元進行排序來識別它們。結果顯示，我們的方法在兩個基礎模型上識別關鍵神經元方面始終優于所有基線方法，在 LLaVA 上引起了平均 18.38% 的性能下降，在 Qwen 上引起了 21.91% 的下降。值得注意的是，掩碼由 APE 排序的神經元會導致 VQA 和 OCR 任務的性能提升，這表明基于熵的神經元排序可能捕捉到了與任務無關或產生干擾的神經元。進一步的神經元干預策略比較表明，掩碼排名靠前的注意力頭在識別跨任務的關鍵神經元方面比掩碼隨機排名的頭或應用高斯噪聲注入要有效得多——產生的性能下降幅度高出 10% 以上。我們的結果表明，與原始激活幅度（通常受多義性活動混淆）相比，因果對齊的流向模型讀出的信息流能更好地捕捉神經元的重要性。我們還在相同的四任務設置下評估了 HONES 在更大骨干網絡 LLaVA-1.5-13B 上的性能?，F有結果顯示的趨勢與 7B 模型一致，HONES 仍然是最強的定位方法。完整結果見附錄 D.5。除了有效性之外，我們還針對 VQA 任務，將 HONES 的定位效率與兩個與我們方法最相關的代表性基線進行了評估，即基于梯度的歸因方法 QRNCA 和基于干預的 Group Patching。我們的結果顯示，作為一種無梯度方法，HONES 定位關鍵神經元的速度明顯快于這兩個對比方法（見附錄 D.6）。

關鍵神經元表現出依賴于任務的層偏好。 受 VLM 在不同層執行不同階段的多模態信息處理的啟發，我們進一步探索了每個任務中識別出的前 1% 神經元的逐層分布，旨在檢查這些神經元出現的處理階段及其與任務特征的關系。具體而言，我們統計了每一層內識別出的神經元數量。這種逐層計數使我們能夠精確定位任務關鍵計算最集中的特定網絡深度。圖 2 展示了每個基礎模型的結果?？傮w而言，我們觀察到關鍵神經元主要集中在中間層（10–20）和更深層（>25）。與傾向于在中間層出現峰值的檢索任務相比，其他三個任務在兩個 VLM 的更深層都表現出更高的集中度。鑒于中間層通常與視覺 - 文本對齊相關，而更深層更多地參與答案解碼（Yu and Lee, 2025），這些結果表明檢索任務更 heavily 依賴視覺 - 文本對齊，而在其余三個面向生成的任務中，基于文本的答案生成扮演了更重要的角色。

VQA 共享神經元主導跨任務顯著性。 通過檢查跨任務的關鍵神經元，我們發現大量這些神經元在多個任務之間是共享的。這促使我們探索這些多任務神經元的影響力與跨任務的任務特定神經元相比如何，從而為跨任務泛化和模型稀疏性背后的機制提供見解。給定 HONES 為每個任務識別出的前 1% 神經元，我們根據它們共享的任務對神經元進行分組。對于每個目標任務，我們隨后計算掩碼每個神經元組導致的相對性能下降。

圖3展示了兩個基礎模型的結果。為了節省篇幅，我們僅展示了當神經元分別由兩個和三個任務共享時引起最大性能下降的共享組（完整比較見附錄E.1）。有趣的是，多任務共享神經元表現出比任務特定神經元更高的顯著性，特別是那些與VQA重疊的神經元，這表明了一種“樞紐效應”（hub effect），即VQA相關神經元支持廣泛的視覺-語言任務。除描述（captioning）任務外，成對共享神經元在各任務中表現出主導的因果顯著性。我們假設這種偏差的產生是因為描述任務依賴于整體圖像理解，而我們精選圖像中存在的文本線索可能會使最顯著的神經元組偏向于OCR相關神經元。為了驗證這一假設，我們在移除文本線索后對相同的圖像重復了該分析。如附錄E.2所述，描述任務中最顯著的神經元組變回了VQA-描述對。我們進一步在分布外數據集上檢查了跨任務的關鍵神經元共享模式，并觀察到了相同的定性趨勢，這表明識別出的路由和神經元結構在不同的數據分布中具有泛化能力（附錄E.3）。

Corrected final sentence: "我們在OCR、描述和檢索任務中也觀察到了一致的趨勢（附錄E.4）。"

5.3 神經元級模型引導的結果

有效性。 表3展示了HONES在神經元級模型引導方面與多種基線方法相比的性能。為了提高引導效率，我們將引導范圍限制在第5.2節中識別出的每個任務的主導顯著神經元組，而不是對整個前1%神經元集合進行干預?？傮w而言，在兩個骨干模型的所有任務上，HONES始終優于所有基線方法。與RandNeuron的差距提供了干預性證據，表明任務能力集中在一小部分神經元中；而相對于Grid-Search的提升則表明，在實踐中，使用神經元級的調制而非單一的均勻放大器，對于充分利用這些因果通路是必要的。

分布外（OOD）泛化。 為了測試我們神經元引導方法的泛化能力，我們進一步在四個任務的三個分布外基準上評估了引導后的模型：GQA（VQA）、TextVQA（OCR）和Flickr30k（描述與檢索）。同樣，我們在此僅關注屬于每個任務主導顯著組的神經元。如表4所示，直接遷移域內學習到的縮放因子（Ours (zero-shot)）已經能帶來一致的性能提升。此外，在無需重新定位注意力頭或重新識別神經元的情況下，僅使用20%的OOD樣本來學習縮放因子并在剩余80%的樣本上進行評估（在10個隨機劃分上取平均；均值±標準差），我們的方法始終優于隨機神經元對照組。這表明任務能力確實集中并錨定在來自主導顯著神經元組的那些稀疏神經元中。額外的設置和統計細節見附錄F.3。

6 結論

我們提出了 HONES，這是一個面向多頭、讀出對齊的因果可解釋性框架，專為多任務視覺語言模型（VLMs）設計。通過定位任務關鍵的路由頭（routing heads）并基于因果寫入效應（Causal Write-in Effect）對 MLP 神經元進行排序，HONES 為異構任務讀出提供了統一且可驗證的神經元重要性概念。通過對 LLaVA-1.5-7B 和 Qwen2.5-VL-7B 的系統分析，我們發現：激活統計量通常與因果關鍵性脫節；任務關鍵計算遵循穩定的“上升 - 低谷 - 激增”深度分布特征，并具有依賴于任務的錨定模式；而跨任務行為則由稀疏的、以 VQA 為中心的“樞紐 - 橋接”（Hub-and-Bridge）共享結構所介導。我們基于學習的引導方法進一步將這些發現付諸實踐，僅學習一小部分神經元級的縮放因子，即可在保持所有骨干權重凍結的同時，實現對任務行為的有效且穩定的控制。

原文鏈接：https://arxiv.org/pdf/2604.17941v1