北京
國內AI獨角獸MiniMax近日確認，新一代大模型M3已進入發布準備階段。MiniMax AI工程負責人Skyler Miao在社交平臺釋放預告，引發行業關注。
M3最核心的變化是架構層級的重構。它采用自研的稀疏注意力機制，通過索引分支（Index Branch）快速掃描上下文并篩選關鍵Token，再交由稀疏計算分支（Sparse Branch）進行精準注意力計算。
傳統Transformer處理序列時的計算復雜度是O(n2)，意味著上下文每增長10倍，計算量膨脹100倍。M3的稀疏設計將計算量壓縮至原來的十分之一甚至更低，從底層解決了長文本場景下計算效率低、推理成本高、序列越長性能衰減越嚴重這三大痛點。
在實測數據上，M3對比前代M2（已支持100萬Token上下文）取得了9.7倍的預填充速度提升和15.6倍的解碼生成速度提升。這意味著，企業處理百萬Token級別的長文檔時算力成本可降低80%以上，個人用戶進行超長對話時響應幾乎無延遲。
稀疏注意力并非MiniMax獨有的技術路線。2026年2月，小米MoMo大模型團隊發布了HySparse混合稀疏注意力架構，同樣致力于提升長文本處理效率。
百度開發者平臺的技術文章也指出，深度稀疏注意力通過動態路由策略將計算復雜度降低至O(n log n)，處理100萬Token時顯存占用可從傳統方案的1.2TB降至150GB。可以說，整個行業正在從純粹的參數規模比拼，轉向效率與實用性的競賽。
稀疏注意力也并非沒有代價和爭議。有學術研究指出，現有稀疏注意力方法在“序列維度”壓縮時容易丟失關鍵信息。開源社區也有開發者表示，目前缺乏對稀疏注意力方法效率與精度之間權衡的全面系統評估。
此外，現有稀疏注意力方案大多為免訓練設計，在不同模型架構上的泛化能力仍是待驗證的問題。
就MiniMax而言，M3能否解決前代模型在用戶實際體驗中暴露的短板也值得觀察。不少用戶反映，M2系列模型存在指令遵循能力不夠穩定、幻覺問題較明顯、多步驟推理過程中易出錯等問題。其視頻生成產品也存在人物一致性較差、物理規律不合理等不足。這些問題是否在M3中得到系統性改善，將決定這款模型的實際競爭力。
M3的具體技術參數、發布時間以及完整的參數規模，目前仍未對外公布。但從工程負責人的預告節奏和實測數據來看，這款模型有望在長上下文處理領域帶來實質性突破。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
