新智元報道

【新智元導讀】DeepSeek三模型霸占OpenRouter前十，月調用合計超17萬億tokens。Agent負載正在碾壓一切基礎設施！現在，自主創新的國產生態，正在悄悄改寫下一代AI基礎設施的入場券。

打開OpenRouter最新的模型月榜，V4上線一個月，DeepSeek的存在感很強。

V4 Flash月調用9.13T tokens，穩坐第1。V4 Pro也沖到了3.89T排第9。再加上V3.2的4.07T排第8，DeepSeek三個模型同時擠進前十，月調用合計超過17萬億tokens。

應用方面，排名前兩位的Hermes Agent和OpenClaw，月調用量分別達到了10.8T和6.25T tokens。

換句話說，如今Token消耗的絕對主力，已經從傳統的聊天機器人，徹底讓位給了會規劃、檢索、調用工具并反復驗證的Agent系統。

它就像一個小型工作流，單次任務動輒觸發上百輪LLM調用，并伴隨數十次工具執行，再加上長記憶和自演進產生的數據，負載常常飆升至數百GB甚至TB級。

這種以「萬億」為單位的高強度并發，正在將底層基礎設施的每一個短板都無限放大。

同一套能力

接住了不同的頭部模型

而這，也呼應了幾個月前行業里流傳的一個似是而非的傳聞。

當時DeepSeek V4的發布有所推遲，坊間便出現一種猜測，是不是因為V4在跟昇騰做底層的深度適配，拖慢了節奏？

這甚至引發了一種錯覺，讓人以為昇騰正在成為某一家大模型廠商的「專有硬件」，不得不把大量精力耗費在特定模型的查漏補缺上。

這恰恰是對算力底座和模型演進關系最大的一個誤解。

DeepSeek V4之所以能在開源首日，真正做到「開箱即優」，并不是因為昇騰為了某款模型削足適履，而是因為LLM演進到今天，必然會撞上這幾堵墻。

而昇騰，只是恰好提前在那里等它。

放眼中國大模型的第一梯隊，就會發現一個事實，不管是智譜、MiniMax，還是這次引爆全網的DeepSeek，盡管各自的微觀算法、應用場景千差萬別，但在邁向「低精度量化、長上下文、萬億MoE」這幾個方向時，步調是一致的。

面對整條賽道的共性需求，昇騰交出的是一套通用的答卷。

就拿剛剛過去的4月來說，智譜GLM-5.1、MiniMax M2.7、DeepSeek V4三個頭部模型密集開源，昇騰全部做到了發布即支持。

能做到這種覆蓋速度，唯一的解釋是，其底層的能力是高度通用的。

頭部模型撞上「同一堵墻」

昇騰的能力之所以能實現通用，是因為頭部模型走到了同一個路口。

首先是MoE架構，它的好處是每次只激活一小部分專家來干活，計算效率高。但代價很明顯，專家分散在不同的卡上，每次推理都要大量卡間通信。

上下文方面，V4兩個版本都標配百萬token。模型側已經在用混合稀疏注意力（CSA/HCA）拼命壓成本，但百萬級KVCache對基礎設施的內存壓力仍然是實打實的。

精度方面，V4-Pro在HuggingFace上標注FP4+FP8混合精度，MoE專家參數用FP4，其他用FP8。低精度推理已經從「能不能壓縮」進入了「壓縮后是否可靠」的階段。

通信、內存、精度，是各大頭部模型在部署時都會面臨的難題。

而能夠系統性地解決這三件事的AI軟硬件平臺，將率先搶占下一代AI基礎設施的關鍵入口。

萬億MoE的通信瓶頸

一個算子打通

MoE的關鍵在于，計算被稀疏化以后，通信變成了第一瓶頸。

昇騰之前已經有MC2通算融合算子，在不同的并行方式下把矩陣計算和集合通信做了融合。

然而，在EP并行模式下，現有算子仍無法實現通信與Grouped Matmul計算的完全并行，因此并未達到真正的通算融合。

MegaMoE補上的，正是這個缺口。

它把MoE推理中原本分開執行的五個步驟（Alltoall Dispatch、GMM1、Swiglu、GMM2、Alltoall Combine）融成一個大算子，讓通信和計算盡可能同時進行。同時支持Prefill和Decode場景。

昇騰Atlas 800 A3上的實測數據顯示，DeepSeek V3.1和Qwen3-235B兩個模型接入MegaMoE融合算子后，Prefill場景可獲得20%到30%的性能提升，Decode場景也有10%以上的收益。

百萬上下文

先過內存這一關

百萬token上下文要真正跑好，有一個繞不過去的問題。

Prefix Cache（前綴緩存）是當前大模型推理服務中廣泛使用的優化技術。

它通過緩存多輪對話或長文檔中重復出現的前綴部分的KVCache，讓新請求可以跳過這部分的重復計算，從而降低首token時延、提升整體吞吐。多輪對話、RAG、Agent場景都離不開它。

但單機的Prefix Cache有一個根本局限，緩存只存在本機本地內存里。容量有限，容易被淘汰。更關鍵的是，跨機器的實例之間完全不共享，集群越大，緩存利用率反而越低。

而多機部署、PD分離、大規模專家并行，恰恰是所有萬億級MoE模型的標準部署方式，并且都對多機間的內存共享和數據調度提出了更高要求。

為此，昇騰提出了全新的KVCache池化方案，框架層通過KV Connector對接池化后端，去除冗余的三方轉發層。

• 通信層引入HIXL實現零拷貝傳輸，數據搬運下沉至設備側高帶寬鏈路，NPU間點對點直連免除CPU中轉。

• 借助MemFabric實現跨節點內存統一編址，將不同機器的物理內存融合成全局大池。

同時，長序列還有一個更底層的壓力。

在業界的普遍認知中，Prefill階段的計算量隨序列長度呈平方級增長，Decode階段的KVCache內存占用則隨序列長度線性增長，長序列同時帶來計算和內存的雙重瓶頸。

對此，昇騰采用了PCP做Prefill階段的算力切分，DCP做Decode階段的KVCache內存切分，兩者配合把雙重壓力同時分攤開。

這套方案讓Agentic場景下的Prefill性能提升4倍以上，并且不限于某一個模型，任何需要百萬級上下文的場景都能受益。

當超長上下文逐漸變成「基本需求」，長序列的基礎設施能力，已經是開發者選擇平臺時繞不開的一道題了。

低精量化

難的不是壓縮是可靠

通信和內存之外，精度是第三個繞不過去的難題。

傳統量化方式（INT4/INT8/FP8）用全局統一縮放因子，相當于一把尺子量所有參數，碰到異常值整個縮放范圍就被拽偏了。

在參數分布差異極大的MoE模型中，這一問題尤為致命。

為了解決這個矛盾，行業正在向Microscaling格式（MXFP4/MXFP8）收斂。它的原理是把參數分成小組，每組用獨立縮放因子，異常值只影響本組，不拖累全局。

但光有格式標準還不夠，關鍵是硬件和工具鏈能不能跟上。

昇騰950系列創新性地在架構層面提供了專用的塊縮放因子計算單元和MXFP矩陣乘法加速器，從硬件層原生支撐mx格式。

再往上，MindStudio工具支持一鍵生成MXFP4/MXFP8模型權重，開發者不需要手動處理量化細節。

從硬件到工具鏈全部打通之后，任何想走MXFP路線的模型，在昇騰上都能快速適配。

接得住巨浪

就能接得住江海

從低精量化到長序列池化再到MoE通算融合，這三個方向看似各自獨立，但背后對應的是同一個命題，Agent時代的推理基礎設施該怎么建。

而在這個命題上，昇騰全系列產品不僅已經實現了對DeepSeek的全面支持，更讓人看到了V4背后的一條完整鏈路，從底層芯片、底層編程語言到核心算子，關鍵環節都有中國自己的方案。

可以說，DeepSeek V4的出現，印證了中國已經可以依靠一整套自主創新的生態體系來打造頂尖大模型。

而昇騰，正是這條生態鏈路上的算力底座，一個面向全行業的通用AI軟硬件平臺。

Agent時代的推理負載還在膨脹，下一個萬億級模型隨時會來。這個平臺能接得住的，遠不止DeepSeek。