在小說閱讀器讀本章

去閱讀

在小說閱讀器中沉浸閱讀

當今人工智能時代，基于國產算力的大模型高效訓練和推理是國家發展戰略的大問題。DeepSeek-V4-Pro在效率和性能方面是業界大模型的杰出代表。DeepSeek-V4-Pro已經成功完成在國產算力上推理部署，但訓練還未完全實現國產算力化。

在此背景下，深圳河套學院Al訓練平臺項目團隊，聯合哈爾濱工業大學(深圳)、深圳市大數據研究院、華為GTS(全球技術服務)、計算產品線、2012實驗室，協同深智城AI算力平臺，面向國產算力大模型訓練開展聯合攻關。目前，僅用1個月時間，項目已基于昇騰910C國產算力集群實現DeepSeek-V4-Pro全參數續訓練/SFT穩定運行，完成長穩訓練1500+步，訓練MFU超30%，關鍵訓練算子效率提升14%。

據公開資料檢索，本工作是公開可查范圍內，業界首個由第三方機構基于國產算力集群完成的DeepSeek-V4-Pro全參數后訓練工程實踐，標志著國產AI基礎設施正在從推理部署和輕量化微調邁向超大模型全參數后訓練。

01

為什么萬億級模型的“全參數后訓練”是一塊硬骨頭？

DeepSeek-V4-Pro，一款1.6萬億參數級MoE開源旗艦模型，采用了CSA+HCA混合稀疏注意力、mHC連接等新機制。相比于上一代DeepSeek-V3/R1，它對國產訓練框架提出了全方位的“極限挑戰”。

稀疏MoE結構：專家路由帶來的跨節點通信，是傳統密集模型的數十倍；

混合稀疏注意力：注意力模式的動態切換，對算子效率和顯存管理極為敏感；

萬億參數級狀態：權重、梯度、激活、優化器狀態——僅單副本就需數TB顯存。

02

核心進展：千卡集群上，1500+步穩定奔跑

經過聯合攻關，項目已基于千卡級昇騰 910C 國產算力集群，成功實現DeepSeek-V4-Pro在國產算力集群上的全參數后訓練穩定運行。

長穩SFT訓練：完成1500+步迭代，skipped iterations = 0，NaN iterations = 0；

訓練效率：MFU（模型算力利用率）達到約30%，關鍵訓練算子計算效率較初始版本提升約14%；

最終表現：在昇騰超節點上，MFU穩定在34.9%。

與此同時，DeepSeek-V4-Flash的全參數續訓練與SFT鏈路也已同步打通。

DeepSeek-V4-Pro@昇騰超節點訓練，MFU最終穩定在34.9%

一組數據足以說明差距：在同等參數量下，業界公開的國產算力全參數后訓練案例幾乎為零。而我們將一個1.6T MoE模型，在千卡集群上以27秒/步的穩定節奏，連續奔跑1500余步——這不是實驗室的“單次演示”，而是可復現、可工程化交付的穩定能力。

更重要的是，該平臺已快速驗證了垂直領域價值。團隊圍繞工業級自動化運籌建模場景，在數周內完成了從數據生產、樣本篩選、訓練鏈路打通到效果評測的閉環驗證。這意味著：國產算力平臺不僅能夠“訓大模型”，更能“訓好行業模型”——以短周期、低成本構建面向專業任務的增強能力。

03

三大關鍵技術突破：從“能跑”到“能訓、訓穩、訓優”

本次攻關面向DeepSeek-V4-Pro全參數后訓練，而非LoRA等少量參數微調。聯合團隊在以下三個層面實現了系統性突破：

1. 分布式承載：1.6T參數的“顯存拼圖”

洞察：萬億參數不能只靠顯存大，更要靠“放得巧”。

項目成功構建了權重、梯度、激活、優化器狀態的分布式承載方案，使得數據并行、張量并行、流水并行與專家并行四者協同工作。每一張卡上，該放什么、怎么放、如何動態調度——這套“顯存拼圖”是穩定訓練的地基。

2. 稀疏與通信：讓專家不“吵架”，讓注意力不“堵車”

洞察：MoE模型訓練最怕“專家負載失衡”和“跨節點通信風暴”。

團隊針對混合稀疏注意力、MoE路由、歸一化、矩陣計算等關鍵訓練算子進行了深度適配與優化，算子效率較初始版本提升14%。同時建立了專家負載的實時監控與均衡機制，避免部分專家過載而部分專家閑置。

3. 長穩監控：當訓練跑上幾天幾夜，誰來守夜？

洞察：全參數后訓練最可怕的不是慢，而是“跑著跑著就崩了”。

聯合團隊搭建了一套完整的監控體系：Loss曲線、梯度范數、專家負載、顯存占用、異常自動恢復……所有指標均可視、可告警、可自愈。在1500+步的訓練中，未出現一次Loss失控或NaN值——這是“長穩能力”最直接的證明。

04

實戰驗證：數學建模能力在后訓練中顯著躍升

為了檢驗DeepSeek-V4在昇騰集群上進行全參數后訓練的真實價值，項目設計了一項“硬核”實驗：增強大模型的數學建模能力。

團隊搭建了一條SFT建模數據生產workflow，產出3000條高質量數學建模任務SFT樣本，覆蓋4類目標任務和3種問題形態。隨后，對DeepSeek-V4進行后訓練。

優化建模SFT數據飛輪流程

訓練曲線給出了清晰的信號：

LM loss從高位快速下降，最終收斂至0.2056；

MTP-1 loss收斂至0.2538；

梯度范數平穩下降，未出現震蕩或發散；

單步耗時穩定在27秒左右。

3K SFT訓練過程概覽

更直觀的結果來自Benchmark對比：

四項關鍵指標均顯著超越原模型，其中ORGEval WL提升超過5個百分點。這意味著：在國產算力上完成的全參數后訓練，不僅能“跑穩”，更能“訓強”——模型在復雜推理任務上的能力得到了真實增益。

05

以戰育才：在真實攻關中培養“能訓大模型”的人

本次攻關的另一個獨特價值，在于它是一次人才培養模式的范式實驗。

深圳河套學院將萬億級模型訓練攻關作為“練兵場”，把學生直接嵌入國產算力真實訓練場景。截至目前，項目已培養學生42名，形成了由青年教師指導、博士生核心攻堅、工程團隊支撐的協同培養機制。

在這一過程中，同學們不只是參與項目進展，更是承擔具體任務的“戰斗員”：有的負責訓練數據構造與樣本質量分析，有的負責分布式并行策略驗證，有的跟進長穩監控與異常恢復，有的撰寫技術報告與工程文檔。

一次訓練啟動、一次報錯定位、一次參數調整、一次結果復盤——在這些真實而瑣碎的工程實踐中，學生們從“會調用大模型”真正走向了“理解并參與訓練大模型”。

能力提升體現在三個方面：

建立了對國產算力大模型訓練全鏈路的系統性認識；

掌握了從領域數據到模型能力增強的全過程實操能力；

在真實項目中形成了問題拆解、實驗設計、訓練復盤與團隊協作的工程素養。

后續，這些真實任務將沉淀為課程案例、實訓資源和學生科研項目，將持續支撐深圳河套學院培養“懂模型、懂系統、能工程、敢攻關”的高水平復合型AI人才。

項目團隊開展技術復盤與學生實戰培養

06

未來展望：從“全參數后訓練”走向“Agentic RL + 超長上下文”

下一階段，深圳河套學院將繼續聯合哈爾濱工業大學（深圳）、深圳市大數據研究院、華為GTS(全球技術服務)、計算產品線、2012實驗室、深智城等合作伙伴，在現有全參數續訓練/SFT鏈路基礎上，重點推進三項任務：

1. 訓練效率再突破

持續優化訓練框架與關鍵算子，進一步提升訓練效率（MFU），降低萬億模型訓練的算力成本。

2. 超長上下文訓練

支撐512K至1M超長上下文訓練，提升復雜專業任務中的長文檔理解與長鏈路推理能力；

3. 強化學習后訓練閉環

突破DeepSeek-V4-Pro強化學習后訓練技術，圍繞數學建模優化、代碼Agent、長上下文推理等任務，構建rollout生成 → 工具執行 → reward/verifier → 策略更新 → 評測反饋的完整Agentic RL鏈路。

同時，項目將堅定推進技術開源與人才培養沉淀：

分階段開放訓練配置、評測腳本、合成數據、技術報告及相關模型與框架能力；

將真實訓練任務、數據構造方法、故障排查案例和評測流程轉化為課程案例與實訓任務；

持續完善“國產算力支撐、真實任務牽引、學生團隊實戰、工程能力沉淀”的培養路徑。

在此基礎上，項目還將依托這一訓練場，開展新一代通用人工智能的基礎理論、新范式和新架構的研究——包括符號、連接與行為主義有機融合，從單一智能體到群體智能再到人機融合的建模探索。

結語

DeepSeek-V4-Pro在國產算力上的全參數后訓練，不是一次孤立的工程突破。

它驗證了一條道路：國產開源旗艦模型 + 國產AI算力 + 高水平訓練團隊 + 國產廠商技術支持——這個四角閉環，是可持續的、可復制的、可信任的。

它發出了一聲宣告：國產AI基礎設施，從今天起，不再只是“能推理”，而是真正“能訓練、能訓穩、能訓優”。

更重要的是，它點燃了一個希望：在下一代通用人工智能的征途上，中國的高校、科研機構和年輕學子，可以站在自己的算力土壤上，開展人工智能的研究，親手訓練屬于自己的萬億模型。

這不是終點，而是發令槍。

?項目后續將逐步開源技術報告、訓練配置與評測腳本，敬請關注深圳河套學院官方發布。