網易首頁 > 網易號 > 正文 申請入駐

扒完 DeepSeek V4 報告,我翻出了這個隱藏彩蛋

0
分享至


今天上午,DeepSeek V4 發布,直接把這個大模型瘋狂更新月推向了最高潮。

百萬上下文標配,性能比肩頂級閉源模型,首發適配華為昇騰芯片,隨便一個點單拎出來能寫一篇爆款頭條。

不過在我翻看 V4 的技術報告的時候,在訓練層面看到了一個被大部分人滑過去的名詞:Muon 優化器


這個技術名詞,怎么看著這么眼熟呢?

原來是前兩天發布的 Kimi 2.6 里,就是通過 Muon優化器,在相同的訓練量下實現了2倍的效率提升,并在 1 萬億參數規模上解決了訓練不穩定的難題。


早在上個月楊植麟站在英偉達 GTC 2026 的舞臺上,花了演講中最長的一個板塊講它。Kimi 是全世界第一個發論文證明 Muon 可以用在萬億參數大模型訓練上的團隊。
(附APPSO解讀文章鏈接)

楊植麟是這樣說的:「用 MuonClip 而非 Adam 訓練 Transformer 大模型,效果會好得多。」正確實現后,token 效率提升 2 倍。在數據墻面前,這相當于把 50 萬億 token 用出了 100 萬億的效果。

現在,這項技術出現在了 DeepSeek V4 的訓練方案里。

我又回來翻了一下 Kimi K2 的架構底層,又發現了一個更有意思的細節:它用的是 DeepSeek-V3 提出的 MLA(Multi-head Latent Attention)。

DeepSeek 的技術報告寫著 Kimi 的名字,Kimi 的架構底座寫著 DeepSeek 的名字。 你中有我,我中有你。

這大概是中國 AI 圈最魔幻的一幕:兩家被外界反復對比的開源雙子星,技術底層早就長到了一起。

而且,Kimi 類似這樣的巧合,已經不是第一次了。

五次「撞車」,五個拐點

算上 V4 和 K2.6 前后腳上線,這已經是 Kimi 和 DeepSeek 過去一年里的第五次「撞車」了。


▲ 圖片由 image-2 制作.

五次「撞車」,如果只是時間重合,那叫巧合。但把每次發布的內容拉出來看,你會發現一條清晰的暗線:每次撞車恰好對應一個 AI 行業拐點的到來

第一次是最戲劇性的。2025 年 1 月 20 日晚 8 點 10 分,DeepSeek R1 發布并以 MIT 協議完全開源。不到兩小時后,Kimi k1.5 亮相。

兩者都瞄準同一件事:讓模型從「張嘴就來」變成「先想后說」,用強化學習跑通 Long-CoT 長思維鏈推理。

在這之后,中國的開源力量就徹底改變了整個全球 AI 的格局。

后來 OpenAI 在一篇論文中點名指出:Kimi 和 DeepSeek 是「最早復現 OpenAI-o1 Long-CoT」的兩家公司。全世界只有這兩家中國公司看懂了 OpenAI 在做什么,并且用自己的方式做了出來


那是中國 AI 從「追隨者」開始變成「引領者」的分水嶺。

最近這次就是今天。四天之內,K2.6 帶來了 SWE-Bench Pro 58.6% 的 Agent 集群并行編程能力,V4 把百萬上下文做成了所有服務的標配,輸出長度拉到 384K tokens。

兩家同時推進國產芯片適配:V4 下半年支持華為昇騰 950,寒武紀已完成 Day 0 適配;K2.6 支持國產芯片混合推理。

Agent 能力、編程天花板、百萬上下文、國產芯片適配、開源生態,全齊了。

從「學會思考」到「學會干活」,從「改 Transformer」到「改算力底座」,五次撞車其實展現出來的,是中國 AI 不再一味對標 OpenAI ,逐漸不再依賴英偉達,在開源上走出屬于自己的路。

撞車背后的必然

發布撞車的巧合固然有意思,但更值得關注的,其實是巧合背后的一些必然。

讓我們先回到 DeepSeek 架構里的 Muon 。

楊植麟在 GTC 演講中講了一個技術困難:當 Kimi 把 Muon 擴展到 1 萬億參數時,訓練不穩定性成了攔路虎。最大 logits 爆炸超過 1000,正常值只有 50 到 100。


損失先降后炸,根本無法收斂。他們的解法是 QK-Clip,對每個注意力頭計算最大 logit 的裁剪值,把查詢和鍵限制在合理范圍內。訓練損失不受影響,但穩定性問題消失了。

K2 模型用這套技術完成了訓練,創下機器學習史上最大規模 Muon 訓練的紀錄。

而 DeepSeek V4 的技術報告里,Muon 被直接寫進了訓練方案。大多數模塊用 Muon 加速收斂,嵌入層和預測頭仍用 AdamW,混合使用。這是對 Kimi 底層創新的一次直接引用。


反過來,Kimi K2 的底層架構采用了 DeepSeek-V3 提出的 MLA。Multi-head Latent Attention,通過壓縮 KV 緩存大幅降低推理成本,是 V3 最核心的架構創新之一。

你的論文成了我的基礎設施,我的創新成了你的底座。 寫在引用列表里的互相成就。

在硅谷,你很難看到這種事。OpenAI 和 Anthropic 之間的技術是「護城河」,能藏則藏。但 Kimi 和 DeepSeek 之間長出了一種更原始也更健康的關系:開源社區里的正向循環

Kimi 和 DeepSeek 是中國首批開源萬億參數模型的玩家,都相信 Scaling Law。技術路線上,DeepSeek 以推理模型見長,Kimi 以 Agent 能力著稱。

底層架構上,兩家都在挑戰同一批「古老」的基礎設施。Kimi 發了「注意力殘差」論文,DeepSeek 做了 mHC 殘差連接,都在改 ResNet 時代留下來的殘差連接方式。

在長文本這條線,Kimi 探索線性注意力(Kimi Linear),DeepSeek 探索稀疏注意力(DSA),殊途同歸。

所以當它們撞車時,與其說是巧合,不如說是對同一個方向的必然趨同。

用中國的芯片,跑中國的模型,對全世界開源

在 OpenRouter 上,Kimi 和 DeepSeek 穩居中國模型調用量前兩名。

Cursor 接入了 Kimi,日本樂天 Rakuten AI 3.0 基于 DeepSeek 開發。被海外產品「套殼」這件事,放在兩年前是恥辱,現在是勛章。

Meta 新模型 Muse Spark 發布時,官方 Blog 做的對比基準線里,Kimi 和 DeepSeek 跟 GPT-4、Claude 并排站著。英偉達 GTC 上,黃仁勛用來展示芯片性能的中國模型就是這兩家。

海外認可之外,更值得注意的是國產芯片這條線。H20 芯片已斷供一年,高端推理芯片短期內只有國產一個選項。兩家公司同時在做同一件事:讓中國模型跑在中國芯片上。


上周黃仁勛在播客訪談里說了一句話:「如果當初 DeepSeek 先在華為平臺上發布,那對我們來說非常可怕。

今天,V4真的首發適配華為昇騰,工程團隊把整個技術棧從 CUDA 遷移到了華為 CANN 框架,從算子庫到通信原語到內存管理,V4 的混合注意力、MoE 專家并行、FP4 量化訓練,幾乎每層從頭實現。寒武紀也在 Day 0 完成了 V4 全系列的 vLLM 推理適配,代碼已開源。

黃仁勛一語成讖。

而 Kimi 在國產芯片上走的路更早,也更深。為了給國產芯片「鋪路」,Kimi 在架構創新上掏出了兩個殺手锏。

Kimi Linear 混合注意力架構把線性注意力層與全注意力層以 7:1 配比混合,將 KV 緩存體積壓縮到極低水平。實測數據很直觀:32K 上下文下,混合架構模型 KV 吞吐量僅 4.66 Gbps,同規模稠密模型高達 59.93 Gbps。


KV 緩存傳輸需求被壓到了普通以太網可承載的范圍,RDMA 高速網絡從「必選項」變成了「可選項」。

在此基礎上,Kimi 聯合清華大學發布了 PrFaaS(預填充即服務)論文,把推理的 Prefill 階段和 Decode 階段徹底解耦,調度到不同異構硬件集群上。實測吞吐量提升 54%,首詞延遲降低 64%。

這套方案打破了「大模型推理必須綁定同一種高端 GPU」的前提:算力強的國產卡做 Prefill,帶寬強的國產卡做 Decode,各司其職。


DeepSeek 用 V4 證明了國產芯片能跑萬億參數的旗艦模型,Kimi 用架構創新證明了國產芯片可以跑得好、跑得省。

一個從工程適配切入,一個從架構設計切入,終點都是同一個:讓英偉達不再是唯一選項

以前的國產 AI 敘事是「用英偉達的卡,追 OpenAI 的模型」。現在這對雙子星同時在寫另一個劇本:用中國的芯片,跑中國的模型,服務全世界的開發者

你的 MLA 是我的基礎,我的 Muon 是你的加速器

回看這一周AI 行業的瘋狂更新,我們已經處在了一個新的轉折點。

同一周內,兩個中國團隊各自發布了萬億參數級開源模型,性能逼近甚至持平美國頂級閉源模型。這在一年前是不可想象的。

當閉源模型的價格是開源模型的 50 倍,開源陣營每隔幾個月就推出一個新的萬億參數選手,競爭天平正在發生微妙的傾斜。

這不是「贏了」或「超越」這么簡單的勝負之分。閉源模型在復雜推理和系統可靠性上仍然有明顯優勢,Opus 4.6 的思考模式依然是 V4-Pro 追趕的目標。但開源陣營的速度、成本優勢和生態覆蓋面,正在改變這場競賽的規則本身。

除了這五次撞車發布,這兩家公司還有一個巧合。梁文鋒來自廣東湛江,楊植麟來自廣東汕頭。兩個廣東人,撐起全球開源 AI 半邊天


梁文鋒像工程師哲學家,相信開源和底層創新,V4 發布公告結尾引的是荀子,「不誘于譽,不恐于誹,率道而行,端然正己。」


至于楊植麟在我看來像產品科學家,他認為用戶體驗和技術突破可以兼得,在 K2.6 發布時他提到了 Linux 之父 Linus Torvalds 那句「Talk is cheap. Show me the code.」

一個古典,一個極客。就是這兩個風格迥異的創始人,一起定位了中國開源模型在世界坐標系的位置。

你的 MLA 是我的基礎,我的 Muon 是你的加速器。這大概也是中國在能在短時間內引領全球開源 AI 的重要原因之一

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
尾號9999999手機號將以26.6833萬起拍價再次拍賣,月租僅9元,2個月前51萬余元起拍無人接盤

尾號9999999手機號將以26.6833萬起拍價再次拍賣,月租僅9元,2個月前51萬余元起拍無人接盤

極目新聞
2026-04-25 18:36:08
這張照片絕對是李宇春最想刪掉的

這張照片絕對是李宇春最想刪掉的

陳意小可愛
2026-04-26 06:05:15
《最強大腦》水哥現狀:46歲不上班,住熱帶雨林,靠腦子年入千萬

《最強大腦》水哥現狀:46歲不上班,住熱帶雨林,靠腦子年入千萬

子芫伴你成長
2026-04-19 23:08:37
成都文旅連夜刪帖、謝霆鋒演唱會評論區淪陷……這次真不是營銷

成都文旅連夜刪帖、謝霆鋒演唱會評論區淪陷……這次真不是營銷

可愛小菜
2026-04-26 04:36:53
許家印認罪!2.4萬億窟窿,家族只拿走500億,其余真金白銀去哪了

許家印認罪!2.4萬億窟窿,家族只拿走500億,其余真金白銀去哪了

蜉蝣說
2026-04-23 09:41:11
美伊談判,重大變數!

美伊談判,重大變數!

數據寶
2026-04-26 07:33:12
李亞鵬復婚登上熱搜,前妻海哈金喜回應:我們都是夏夏的父母,不會不聯系和尷尬,我們都很好,謝謝大家關心

李亞鵬復婚登上熱搜,前妻海哈金喜回應:我們都是夏夏的父母,不會不聯系和尷尬,我們都很好,謝謝大家關心

魯中晨報
2026-04-24 18:00:07
炸鍋了!俄戰地大佬公開認慫:2026必輸,趕緊轉防御保命

炸鍋了!俄戰地大佬公開認慫:2026必輸,趕緊轉防御保命

老馬拉車莫少裝
2026-04-23 21:32:27
SHE合體爬山!Ella戴老花鏡,田馥甄齒痕搶鏡,任家萱手惹人心疼

SHE合體爬山!Ella戴老花鏡,田馥甄齒痕搶鏡,任家萱手惹人心疼

八怪娛
2026-04-25 08:57:09
兩兄弟公司破產的真相!小雞嘴女星復出的代價!

兩兄弟公司破產的真相!小雞嘴女星復出的代價!

八卦瘋叔
2026-04-25 11:34:30
美國施壓,聯合10國簽反華協議!中方出手,不得未經允許接受美資

美國施壓,聯合10國簽反華協議!中方出手,不得未經允許接受美資

麓谷隱士
2026-04-26 07:39:19
87年我娶了鄰村姑娘做媳婦,洞房夜她主動,清晨我發現欠款226塊

87年我娶了鄰村姑娘做媳婦,洞房夜她主動,清晨我發現欠款226塊

周哥一影視
2026-04-26 02:58:32
你絕對想不到,現在全球最有錢的那幫頂級大佬,都在干同一件事

你絕對想不到,現在全球最有錢的那幫頂級大佬,都在干同一件事

流蘇晚晴
2026-04-25 16:27:54
外交部一錘定音!賴清德沒資格,鄭麗文就算贏了選舉也不認!

外交部一錘定音!賴清德沒資格,鄭麗文就算贏了選舉也不認!

果媽聊娛樂
2026-04-25 13:48:35
演員毛曉彤凌晨從醫美診所離開引網友熱議,其曬醫院檢測報告回應:作為一個從小愛吃面食的天津人,查出面粉不耐受可怎么辦

演員毛曉彤凌晨從醫美診所離開引網友熱議,其曬醫院檢測報告回應:作為一個從小愛吃面食的天津人,查出面粉不耐受可怎么辦

魯中晨報
2026-04-25 08:56:26
人到晚年,最損壽命的根本不是生病,而是這2種“勤快”

人到晚年,最損壽命的根本不是生病,而是這2種“勤快”

荷蘭豆愛健康
2026-03-26 13:36:36
中國第四艘航母官宣:是核動力!舷號19,命名大概率是“江蘇號”

中國第四艘航母官宣:是核動力!舷號19,命名大概率是“江蘇號”

諦聽骨語本尊
2026-04-25 14:44:21
美方曾提醒:如果雙方談不攏,中國的武器裝備可能會去美國大門口

美方曾提醒:如果雙方談不攏,中國的武器裝備可能會去美國大門口

混沌錄
2026-04-25 16:42:06
DeepSeek聯手華為掀桌子后,黃仁勛給英偉達下達了死命令

DeepSeek聯手華為掀桌子后,黃仁勛給英偉達下達了死命令

南宗歷史
2026-04-25 10:12:48
福建永安保安扇女車主耳光事件最新:警方認定來了,全網熱議

福建永安保安扇女車主耳光事件最新:警方認定來了,全網熱議

老貓觀點
2026-04-25 07:31:06
2026-04-26 08:08:49
愛范兒 incentive-icons
愛范兒
消費科技第一媒體
38766文章數 2601559關注度
往期回顧 全部

科技要聞

DeepSeek V4發布!黃仁勛預言的"災難"降臨

頭條要聞

小伙被困隧道給母親留遺言:我救了個人可能出不去了

頭條要聞

小伙被困隧道給母親留遺言:我救了個人可能出不去了

體育要聞

那一刻開始,兩支球隊的命運悄然改變了

娛樂要聞

《我們的爸爸2》第一季完美爸爸翻車了

財經要聞

90%訂單消失,中東旺季沒了

汽車要聞

2026款樂道L90亮相北京車展 樂道L80正式官宣

態度原創

藝術
本地
數碼
游戲
教育

藝術要聞

毛澤東寫小字,太瀟灑了

本地新聞

云游中國|逛世界風箏都 留學生探秘中國傳統文化

數碼要聞

OPPO手表6月推送新功能:身心狀態提醒、日照時長監測一應俱全

金發美少女魔王和我是鄰居!新游首曝美女角色太吸睛

教育要聞

90后科學老師用塑料桶手搓4米高水火箭!

無障礙瀏覽 進入關懷版