突破長序列與低耗部署核心瓶頸！中國科學院發布類腦大模型瞬悉2.0

新智元報道

編輯：LRST

【新智元導讀】中國科學院團隊推出類腦大模型「瞬悉2.0」，通過優化架構與編碼路徑，顯著提升了長序列處理效率與低功耗部署能力。該模型在保持高性能的同時，大幅降低訓練與推理成本，為人工智能輕量化與多模態應用開辟新方向。

隨著大模型上下文長度的快速擴展，代碼倉庫理解、智能體以及多模態交互等場景對模型的長序列處理能力提出了更高要求。

傳統Transformer在推理時的計算開銷和顯存占用隨序列長度不斷增長，嚴重制約其實際部署。

近日，中國科學院自動化研究所李國齊、徐波團隊在類腦脈沖大模型「瞬悉1.0」研究基礎上，針對當前大模型長序列處理與低功耗部署等核心瓶頸，推出SpikingBrain2.0-5B（簡稱SpB2.0-5B）模型系列。

該系列模型與瞬悉1.0均以類腦機制為核心，在模型架構、訓練算法和應用廣度上實現全面升級。研究團隊已經開源了瞬悉2.0-5B語言模型與瞬悉2.0-VL-5B視覺語言模型。

論文鏈接：https://arxiv.org/abs/2604.22575

代碼鏈接：https://github.com/BICLab/SpikingBrain2.0

此次發布的瞬悉2.0以超過瞬悉1.0十倍的訓練開銷節省，續訓數據量從瞬悉1.0的150B降低至瞬悉1.0的14B：

即僅需32張A100顯卡，9天內即可完成對當前主流Transformer架構大模型（如Qwen3系列模型）的持續預訓練，通用知識（如MMLU、ARC-C、BBH等任務）以及SFT后推理能力（如數學推理GSM8K、MATH，代碼HumanEval、MBPP等任務）的表現可與強基線Qwen3比肩且實現比瞬悉1.0更優綜合性能；

并在4M序列長度下達到主流Transformer模型Qwen3的10.13倍首Token生成加速，FP8量化路徑下4M長度下相比Qwen3 BF16基線提速達15.13倍，整數-脈沖化編碼路徑下，精度損失僅為0.69%，且脈沖稀疏度高達64.3%

模擬結果顯示，該方案在測試場景下相比INT8矩陣乘法基線，有望使得面向類腦大模型的神經形態芯片面積減小70.6%，在250/500MHz工作頻率下功耗降低48.1%/46.5%。

瞬悉2.0在長序列處理效率、訓練開銷、綜合Benchmark性能、跨硬件平臺適配性及應用場景拓展等方面顯著提升，為輕量級、多模態高效脈沖基礎模型的研發提供了可行路徑，為新一代人工智能創新發展注入新動力。

研究背景

當前，大模型發展正從「參數和數據規模驅動」逐步延展至「上下文能力驅動」。

在智能體、代碼理解、長文檔分析等應用中，模型需要處理數十萬甚至百萬級token。

但傳統Transformer在長序列處理及資源受限場景下的部署仍面臨諸多痛點。因此，如何以極低成本構建基礎模型，打破Transformer在不同序列長度、不同硬件平臺下的能耗瓶頸，成為大模型領域的關鍵探索方向。

針對該問題，團隊此前發布的瞬悉1.0已率先嘗試將類腦機制與高效大模型相結合，為低耗大模型研發提供了初步探索。此次發布的瞬悉2.0通過引入更豐富的類腦機制——包括稀疏化記憶建模、更精細化的脈沖激活值編碼等，在瞬悉1.0的基礎上實現全方位升級。

架構設計

短序列場景中，Transformer的計算瓶頸源于大量前饋矩陣乘法；長序列場景中，計算瓶頸則向注意力模塊轉移，導致推理效率大幅下降。瞬悉2.0因此對注意力和前饋矩陣乘操作分別做出針對性設計，期望緩解Transformer的能耗問題。

（1）雙空間混合稀疏注意力

瞬悉2.0提出雙空間稀疏注意力（Dual-Space Sparse Attention, DSSA），用于在層間混合稀疏Softmax注意力MoBA與稀疏線性注意力Sparse State Expansion （SSE）。其中，MoBA對完整的KV cache進行塊級稀疏計算，SSE則對壓縮式狀態表征進行稀疏計算。這一設計對應類腦化的稀疏記憶機制，實現了優良的長序列性能-效率權衡。

瞬悉2.0架構概覽

（2）雙路徑激活值編碼策略

瞬悉2.0采用了包括FP8和INT8-Spiking兩種對偶激活值編碼路徑：

1. FP8編碼路徑：利用低比特Tensor Core加速矩陣乘運算，該路徑面向工業GPU部署（如NVIDIA Hopper GPU）；

2. INT8-Spiking編碼路徑：把激活值轉為脈沖序列，可將密集矩陣乘法替換為事件驅動的整數累加，大幅降低部署功耗，該路徑面向異步神經形態芯片部署。

瞬悉2.0對偶編碼路徑

轉換訓練流程

瞬悉2.0采用比瞬悉1.0更高效、模態更廣的架構轉換流程（Transformer-to-Hybrid Conversion），依托極少量開源數據和計算資源，分別為語言模型與多模態模型構建兩條獨立的續訓轉換路徑，大幅降低開發成本。

（1）LLM轉換路徑：包括短上下文蒸餾、三階段長上下文擴展（最高至512k）以及兩階段的通用加推理SFT，同時開展了在策略蒸餾探索。

（2）VLM轉換路徑：包括知識蒸餾與指令微調。本文還同時分享了實踐過程中的關鍵Takeaways，為社區研究提供參考。

瞬悉2.0轉換訓練Pipeline

模型性能

1. 長序列處理效率顯著提升

（1）在Huggingface序列并行框架下，瞬悉2.0在4M長度相比Qwen3實現10.13倍的首token生成時延（TTFT）加速（2）在vLLM張量并行框架下，512k長度端到端生成延遲降低4.3倍，128k長度下總吞吐提升1.57倍、請求并發數提升3.17倍；

（3）依托vLLM框架，8卡A100即可支持長達10M序列的推理，而Qwen3基線在4M長度時已超出顯存限制，展現出突出的長序列處理優勢。

2. 訓練成本大幅降低

瞬悉2.0-5B語言與多模態模型的總轉換開銷低至7k A100卡時以下，僅需32張A100，9天內即可完成對Qwen3-4B和Qwen3-VL-4B的全部轉換訓練，相較于SpB1.0，訓練成本減少10倍以上（LLM CPT數據量從150B降至14B），實現了高效低成本的模型開發。

3. 模型性能保持競爭力

（1）瞬悉2.0語言模型在通用知識（如MMLU、ARC-C、BBH等任務）以及SFT后推理能力（如數學推理GSM8K、MATH，代碼HumanEval、MBPP等任務）的表現可與強基線Qwen3比肩且實現比瞬悉1.0更優綜合性能。

（2）瞬悉2.0-VL模型性能實現對Qwen3-VL的有效恢復，可與強基線Qwen2.5-VL比肩（如圖表推理AI2D、通用視覺推理MMStar等任務），在瞬悉1.0的基礎上實現了多模態能力的突破。

4. 跨硬件平臺適配性突出

瞬悉2.0可靈活適配不同硬件平臺：

（1）采用FP8路徑時，精度損失僅為0.24%；在H100上實測顯示，256k序列長度下TTFT提速相比瞬悉2.0 BF16版本超2.5倍，同時在4M長度下相比Qwen3 BF16基線提速達15.13倍；

（2）采用INT8-Spiking路徑時，精度損失僅為0.69%，且脈沖稀疏度高達64.3%；后仿模擬結果顯示，該方案在測試場景下相比INT8矩陣乘法基線，面積減小70.6%，在250/500MHz工作頻率下，功耗降低48.1%/46.5%，有望破解端側部署的功耗瓶頸。

瞬悉2.0系列模型的發布，為輕量級、多模態高效脈沖基礎模型的研發提供了可行路徑，進一步驗證了類腦機制與高效模型架構結合的廣闊前景。

同時，該模型為端側、資源受限場景的大模型部署提供了高性價比解決方案，也為低功耗神經形態計算的后續研發提供重要參考。研究團隊將繼續秉承類腦大模型技術「概念一致、迭代升級」的理念，持續研發可比肩主流大模型的低功耗神經形態計算。

參考資料：

https://arxiv.org/abs/2604.22575