英偉達研究院讓AI訓練提速4倍，徹底改變了大模型蒸餾的玩法

這篇研究來自英偉達（NVIDIA）的研究團隊，于2026年4月以預印本形式發布在arXiv平臺，論文編號為arXiv:2604.13010v1。對希望深入了解技術細節的讀者，可通過該編號檢索完整論文。

大型語言模型正在悄然改變我們的日常生活——無論是幫我們寫代碼、解數學題，還是回答各種稀奇古怪的問題，背后都有一套復雜的訓練流程在支撐。然而，訓練這樣一個"聰明"的模型，代價極其高昂：需要大量的計算資源、漫長的訓練時間，以及復雜的服務器基礎設施。這對于大型科技公司尚且是筆不小的開銷，對于普通高校的研究團隊而言，則幾乎是一道無形的門檻。

英偉達團隊提出的Lightning OPD方法，正是一把試圖打開這道門的鑰匙。他們不僅讓訓練速度提升了4倍，更揭示了一個在整個AI訓練領域長期被忽視的根本性問題——"教師一致性原則"。而這個原則一旦被違反，不管你花多少時間和算力去訓練，模型都無法達到最優狀態。

一、先搞懂"師生關系"：大模型是怎么被訓練出來的

要理解這項研究，首先要理解大模型訓練里的一套特殊"師生制度"。

在AI領域，一個性能較強的大模型可以充當"老師"，把自己的知識傳授給一個體量更小、能力相對弱一些的"學生"模型。這個過程被稱為知識蒸餾。打個比方：如果說強大的老師模型是一位經驗豐富的廚師，那學生模型就是正在學習烹飪的新手。通過觀察廚師每一步的操作細節——每道菜怎么切、火候怎么調、調料放多少——新手廚師能比單純死記硬背食譜學得快得多、好得多。

在大模型訓練領域，這種"手把手教學"的方式有個專業名稱，叫做"在線策略蒸餾"（On-Policy Distillation，簡稱OPD）。它的核心機制是：讓學生模型先自己"做菜"，生成一段回答，然后老師模型對這段回答的每一個字、每一個細節打分，告訴學生哪里做得好、哪里不夠好。學生根據這些密集的反饋不斷改進。

與另一種常用的訓練方式——強化學習（只告訴模型最終結果好不好，不告訴過程中哪步出了問題）相比，這種逐字打分的教學方式信息量更豐富，訓練更穩定，效果也往往更好。

然而，這套"實時輔導"的教學方式有一個巨大的代價：老師模型必須全程在場。每當學生模型寫出一段回答，老師模型就必須立刻對它打分。這意味著在整個訓練過程中，需要同時運行著學生模型和老師模型兩套系統。對于動輒數十億參數的大模型來說，老師模型往往比學生模型更大、更耗資源。這就好比雇了一位大廚全天候陪在新手廚師旁邊逐步指導，光是大廚的工資可能就比整個廚房的其他開銷加起來還貴。

英偉達團隊的研究始于一個看似簡單的問題：能不能讓老師提前把所有打分信息寫下來，然后在訓練過程中直接查閱這些記錄，而不需要老師全程在場？

二、"預錄課"的想法：為什么直覺上可行，實踐中卻出問題

這個想法在直覺上非常合理。畢竟，如果學生的學習路徑變化不大，老師提前錄好的"課程筆記"應該依然適用。

研究團隊注意到，大量實驗證據表明，經過在線強化學習訓練的模型，其行為模式往往與最初的基礎版本相差不大——模型的"思維方式"本質上還是在它最初學到的那套框架內打轉，只是對某些更好的思路給予了更多關注。基于這個觀察，團隊提出了一個假設：在蒸餾訓練階段，學生模型的變化也相當有限，因此可以在訓練開始之前，先讓學生的初始版本生成一批回答，再讓老師對這批回答提前打好分、存起來，正式訓練時直接讀取這些預存的分數即可。這樣，老師就不需要全程在場了。

這個方法在概念上被稱為"離線在線策略蒸餾"——雖然數據是預先收集的（離線），但數據來自學生自己的回答（在線策略），而非完全來自老師。

然而，當研究團隊真正嘗試這套"預錄課"方案時，發現效果往往不如預期，有時候甚至明顯差于讓老師全程在場的原版方案。問題出在哪里？

三、被忽視的核心漏洞："教師一致性"原則

為了找到根本原因，研究團隊對整個訓練流程做了深入剖析，最終發現了一個此前從未被認真討論過的關鍵問題。

整個大模型訓練通常分為兩個階段。第一個階段叫做"監督微調"（SFT），就是先讓老師模型生成一批高質量的示范回答，然后用這些回答來訓練學生模型，讓學生建立基本的能力。第二個階段才是前面說的蒸餾訓練（OPD），進一步提升學生的能力。

問題就出在這里：這兩個階段使用的"老師"，往往是不同的模型。

研究團隊在論文中舉了一個真實案例。有一個知名團隊在訓練一個8B參數的學生模型時，第一階段（SFT）使用的是一個叫做QwQ-32B的模型生成的訓練數據，而第二階段（OPD）用來打分的老師模型，則換成了另一個叫做Qwen3-32B的模型。這兩個模型雖然都很強大，但它們對語言的理解方式、偏好的回答風格都有細微差異。

把這個現象翻譯成我們的廚師比喻：假設新手廚師在入門階段跟著一位擅長法式料理的大廚（QwQ-32B）學習，建立起了對"好菜"的基本判斷。而在進階階段，評分的大廚換成了一位意式料理專家（Qwen3-32B）。這兩位大廚對同一道菜的打分標準有微妙差異，新手廚師因為入門時接受的是法式標準的訓練，所以她做出的菜、她對自己菜品的直覺判斷，都帶有法式風格。此時意式大廚的打分標準與她的直覺存在偏差，這種偏差會持續干擾她的進一步學習，而且這種干擾是無法通過延長訓練時間來消除的。

這正是英偉達團隊通過嚴格數學推導所證明的：當第一階段和第二階段的老師不一致時，訓練過程中的每一步梯度更新（可以理解為每一次學習調整）都會包含一個固定大小的偏差，這個偏差不會隨著訓練的深入而減小。換句話說，模型會收斂到一個次優的終點，無論你再訓練多久，都無法突破這個天花板。

更關鍵的是：這個問題不僅影響"預錄課"的離線方案，同樣會影響老師全程在場的在線方案。兩種方案都會因為教師不一致而受損。這使得"教師一致性原則"成為整個OPD訓練范式的一個基本前提，而不只是Lightning OPD的特殊要求。

四、Lightning OPD：在正確軌道上的優雅解法

一旦認清了教師不一致才是根本問題，解決方案就變得清晰而自然。

Lightning OPD的做法分為兩個階段，核心思想極為簡潔：選定一個老師模型，從頭到尾只用這一個老師。

在第一階段，用選定的老師模型生成一批高質量的示范回答，訓練出學生模型的初始版本（也就是SFT模型，研究中稱之為"參考策略"）。這就像新手廚師跟著同一位大廚系統地學習了基礎菜譜，對大廚的烹飪風格和判斷標準有了深入的理解。

在第二階段，先讓這個初始版本的學生模型自己生成一批回答，然后請同一位老師對這些回答逐字逐句地打好分、存入數據庫。這一步老師只需要出現一次。之后的正式訓練過程中，學生每次只需要查閱這個預存的數據庫，不需要老師再次出現。

由于整個流程始終只使用同一個老師，學生在第一階段建立的判斷體系和第二階段收到的打分信號是完全一致的。就好比新手廚師從頭到尾只接受同一位大廚的指導，她的直覺和大廚的標準高度吻合，所有的學習信號都在同一個坐標系內，不存在相互矛盾的干擾。

五、數學保障：為什么這套方案在理論上是嚴格正確的

研究團隊不僅提出了方案，還進行了嚴格的數學證明，給出了三個核心理論保障。

第一個保障是：在教師一致的前提下，Lightning OPD（預存分數的離線版本）和標準OPD（老師全程在場的在線版本）會收斂到完全相同的最優點。換句話說，兩種方案的"終點"是一樣的，你能達到的性能上限完全相同。唯一的區別在于收斂路徑上可能存在細微偏差，但這個偏差有明確的上界，并且隨著訓練的推進會自然消散。

第二個保障更加有趣：Lightning OPD的訓練過程存在一種內置的"防漂移"機制。在預存數據、固定回答分布的情況下，訓練目標函數本身會產生一種類似于"彈力繩"的效果——當學生模型試圖偏離初始狀態時，訓練目標中會自動出現一個反向的拉力，把它拉回來。這種效果不需要額外設置任何懲罰參數，它是固定回答分布這個設計決策的自然產物。這正好解釋了為什么學生模型在整個訓練過程中始終與初始版本保持相近，使得預存分數依然有效。

第三個保障則從反面證明了教師一致性的必要性：當第一階段和第二階段的老師不同時，無論是離線方案還是在線方案，梯度中都會引入一個固定大小的偏差項。這個偏差項的大小直接取決于兩個老師之間的差異程度，且永遠不會自行消除。這就是為什么換老師會導致模型卡在次優狀態的數學根源。

這三個定理共同構成了Lightning OPD的理論基礎，使其不僅僅是一個"看起來有效"的工程技巧，而是有嚴格數學支撐的原理性方法。

六、實驗驗證：數字說話，結果令人印象深刻

理論再美，也需要實驗來檢驗。研究團隊在數學推理和代碼生成兩個領域進行了全面測試，使用了4B和8B兩種規模的學生模型，分別搭配8B和32B規模的老師模型。

訓練數據方面，數學推理部分使用了包含17000道競賽級數學題的數據集，代碼生成部分使用了涵蓋多樣化函數合成問題的30000道編程題數據集。評測基準則選用了業界公認的高難度測試集，包括AIME 2024、AIME 2025、HMMT 2025（均為頂級數學競賽題目）以及LiveCodeBench v5和v6（代碼生成領域的權威基準）。

結果非常清晰。以8B規模的學生模型為例，僅經過監督微調（第一階段）的基礎版本在AIME 2024上能夠答對63.7%的題目。經過標準在線蒸餾（全程保持老師在場）訓練后，這個數字提升到68.5%。而采用Lightning OPD訓練后，成績進一步達到69.9%，不僅沒有因為老師不在場而變差，反而略微超過了老師全程在場的版本。在代碼生成方面，LiveCodeBench v6的成績從36.8%經過標準OPD提升到41.2%，Lightning OPD則達到43.9%，同樣超過了在線版本。

4B規模的學生模型也呈現出完全相同的規律：Lightning OPD在AIME 2024上達到68.1%，超過標準OPD的65.4%；在代碼生成上達到40.3%，超過標準OPD的39.3%。

速度方面的提升更加顯著。標準在線OPD需要一臺額外的多GPU服務器全程運行老師模型，4B規模的完整訓練需要72 GPU小時，8B規模則需要120 GPU小時。Lightning OPD通過消除這臺始終在線的老師服務器，將4B規模的總開銷降至20 GPU小時（提速3.6倍），8B規模降至僅30 GPU小時（提速4.0倍）。更重要的是，這30 GPU小時里還包括了生成回答（10小時）和提前計算老師評分（4小時）的一次性預處理開銷，真正的訓練環節只需要16小時。整個流程只需要一臺普通的訓練集群，不需要任何額外的推理服務器。

七、消融實驗：換一個老師會發生什么

為了更直接地驗證教師一致性原則的重要性，研究團隊專門設計了一組對比實驗。他們引入了另一個強大的模型QwQ-32B作為額外的老師候選，與原本選用的Qwen3-32B（8B規模實驗）或Qwen3-8B（4B規模實驗）形成對照。通過在第一階段和第二階段自由組合這兩個老師，構建了一個完整的"教師搭配矩陣"。

結果與理論預測完全吻合：無論是在線版本還是離線版本，兩個階段使用同一個老師的情況始終是最優的（這些情況落在矩陣的對角線上）。一旦換用不同的老師，性能就會出現明顯下降。

特別值得關注的是，教師不一致對Lightning OPD的傷害比對標準OPD更大。以8B規模為例，如果第一階段用Qwen3-32B、第二階段換成QwQ-32B，標準在線OPD的成績從68.5%下降到64.8%，損失3.7個百分點；而Lightning OPD則從69.9%跌至63.1%，損失高達6.8個百分點。這個不對稱性也是有理論解釋的：在線版本每一步都重新采樣學生當前的回答，可以在訓練過程中逐步糾正參考分布的偏差；而離線版本的回答是固定的，一旦參考分布本身就反映了錯誤老師的風格，這個錯誤就會在整個訓練過程中持續存在，無法自我修正。這正是為什么教師一致性對Lightning OPD而言不只是一個建議，而是一個必須嚴格遵守的設計原則。

八、訓練動態：模型內部發生了什么

研究團隊還仔細觀察了訓練過程中模型內部的變化，以驗證理論預測與實際情況是否吻合。

他們追蹤了一個叫做"重要性權重"的指標，可以把它理解為"學生當前版本與初始版本之間差距的放大鏡"。如果這個指標接近1，說明兩者非常接近；如果偏離1太多，說明學生已經走得很遠，預存的評分數據可能不再準確。

實驗結果顯示，這個指標在訓練開始后的前20步內迅速下降到約0.94，隨后保持平穩，波動幅度始終維持在較小范圍內。這意味著學生模型在整個訓練過程中始終緊貼著初始版本，沒有大幅偏移——理論預測的內置防漂移機制確實在發揮作用。

從性能曲線來看，AIME 2024的成績在前50步訓練中急劇攀升，捕獲了絕大部分性能增益，之后趨于平穩。這意味著150步的總訓練預算已經綽綽有余，浪費極少。此外，研究團隊還測試了不同質量的第一階段基礎模型對最終結果的影響：隨著第一階段訓練步數從500增加到3000，基礎模型質量持續提升，而Lightning OPD在每個基礎模型質量級別上都能穩定地帶來顯著提升，相對于在線標準OPD的優勢也保持一致。這說明Lightning OPD對第一階段的訓練預算并不敏感，在各種實際條件下都能穩定工作。

九、與其他方法的關鍵區別

研究團隊還特別澄清了Lightning OPD與兩種看似相似的方法之間的本質區別，以防止混淆。

Lightning OPD與"離線強化學習"（一種同樣基于固定數據集訓練的方法）表面相似，但內在完全不同。離線強化學習面臨的核心挑戰是"越界動作高估"問題：因為獎勵信號稀疏，模型可能對從未見過的情況做出過于樂觀的判斷，所以離線強化學習通常需要設計"保守機制"來避免冒險。在Lightning OPD中，老師對每一個字都提供了密集的評分信號，不存在信息稀疏的區域，因此這些保守機制完全沒有必要。Lightning OPD面臨的真正挑戰是教師不一致，而這是離線強化學習的工具箱所完全無法處理的。

Lightning OPD與傳統的"離線知識蒸餾"（先讓老師生成一批示范，然后學生學習這些示范）也有根本區別。傳統離線蒸餾讓學生只能在老師自己會寫的回答上接受指導，永遠不會知道當它自己寫出不同風格的答案時老師會怎么打分。Lightning OPD則是先讓學生自己寫，然后請老師對學生寫的內容打分——學生接受的指導是針對它自己可能犯的錯誤量身定制的，而不是在老師的示范上打轉。這正是"在線策略"的核心優勢，也是Lightning OPD雖然數據是預先收集的，但依然能遠超傳統離線蒸餾的原因。

歸根結底，Lightning OPD不是對其他方法的小修小補，而是一個基于全新洞察——教師一致性——建立起來的完整框架，它的每一個設計決策都有明確的理論依據。

說到底，這項研究最令人印象深刻的地方，并不只是"更快了4倍"這個數字，而是它揭示了一個長期存在于整個領域卻從未被人系統討論過的隱患。無數團隊在訓練大模型時都在不知不覺中違反教師一致性原則，卻把訓練效果不佳歸因于其他因素。英偉達團隊通過嚴格的理論分析和系統的實驗驗證，把這個隱患清晰地擺在了臺面上，并給出了簡單可行的解決方案。

對于普通用戶來說，這項研究的直接影響是：未來的AI助手可以用更低的成本、更短的時間訓練出來，研究門檻的降低意味著更多大學實驗室和小型研究團隊能夠參與到大模型的研發中，整個領域的創新速度有望加快。

對于正在研究AI訓練方法的從業者來說，"教師一致性"現在是一個必須納入考慮的設計約束。在搭建任何兩階段訓練流程時，都應該審視一下：兩個階段的"老師"是同一個嗎？如果不是，你可能正在無意中給模型設置一個永遠無法突破的天花板。

這篇論文對于推動大模型訓練走向更高效、更普惠的方向，邁出了實質性的一步。有興趣深入鉆研技術細節的讀者，可以通過arXiv編號2604.13010v1檢索完整論文和所有數學證明。

Q&A

Q1：Lightning OPD為什么不需要老師模型全程在線？

A：Lightning OPD的核心設計是在訓練開始之前，先讓學生的初始版本生成一批回答，同時讓老師模型一次性對這些回答打好分并存入數據庫。之后的訓練過程直接讀取這些預存的評分，不再需要老師實時響應。這之所以可行，是因為研究發現學生模型在訓練過程中偏離初始版本的幅度非常有限，預存的評分依然有效，且訓練目標本身存在防漂移的內置機制。

Q2：教師一致性原則違反了會有多大的影響？

A：影響相當顯著且無法通過延長訓練來彌補。實驗數據顯示，在8B規模的模型上，如果第一階段和第二階段的老師不一致，Lightning OPD的成績可能下跌接近7個百分點，從69.9%跌至63.1%。更關鍵的是，理論證明這種偏差是永久性的——無論再訓練多久，模型都無法突破這個因教師不一致而形成的性能上限。

Q3：Lightning OPD和傳統知識蒸餾有什么本質不同？

A：傳統知識蒸餾讓學生學習老師自己生成的示范答案，學生只能在老師的回答風格上接受指導。Lightning OPD則是先讓學生自己寫答案，再請老師對學生寫的內容打分。這意味著老師的指導是針對學生自己可能犯的錯誤量身設計的，而不是限于老師自身的回答范圍。這種"在線策略"的核心優勢使Lightning OPD的效果遠超傳統離線蒸餾，盡管兩者都使用了預先收集的數據。