（來源：麻省理工科技評論）

訓練一個大型 AI 模型的代價很高，不只是錢，還包括時間、能源和算力。

要得到一個更小、更快的模型，傳統(tǒng)做法要么是先訓練一個龐大的模型再削減它，要么是直接從頭訓練一個小模型，但接受性能上的妥協(xié)。

MIT 計算機科學與人工智能實驗室（CSAIL）、馬克斯·普朗克智能系統(tǒng)研究所、歐洲學習與智能系統(tǒng)實驗室（ELLIS）、蘇黎世聯(lián)邦理工學院（ETH）和 Liquid AI 的研究人員共同提出了一種新方法，直接繞過了這個二選一的難題：在訓練過程中就對模型進行壓縮，而不是在訓練之后。

這項技術(shù)叫 CompreSSM，針對的是一類叫做“狀態(tài)空間模型”（state-space models）的 AI 架構(gòu)。這類架構(gòu)支撐著從語言處理、音頻生成到機器人控制的廣泛應(yīng)用。研究人員借用控制論里的數(shù)學工具，在訓練早期就能識別出模型中哪些部分是在真正發(fā)揮作用、哪些是累贅，然后把那些多余的部分精準地切除掉。

“本質(zhì)上這是一種讓模型在訓練過程中變小、變快的技術(shù)，”論文第一作者、CSAIL 成員、電氣工程與計算機科學系的博士生馬克拉姆·查希內(nèi)（Makram Chahine）說，“學習過程中，模型也在同時扔掉那些對它的發(fā)展沒有幫助的部分。”

這項研究的關(guān)鍵洞察是：一個狀態(tài)空間模型里哪些組件更重要、哪些更次要，這個格局在訓練過程中很早就穩(wěn)定下來了。研究團隊使用一種叫“漢克爾奇異值”（Hankel singular values）的數(shù)學量來衡量每個內(nèi)部狀態(tài)對模型整體行為的貢獻程度，結(jié)果表明只需完成大約 10% 的訓練，就能可靠地排出哪些維度重要、哪些不重要。一旦排序確定，那些不重要的組件就可以被安全地丟棄，剩下 90% 的訓練則以一個小得多的模型的速度繼續(xù)進行。

“這項工作有意思的地方在于，它把壓縮這件事從‘事后再說’變成了學習過程本身的一部分，”論文通訊作者、MIT 教授、CSAIL 主任丹妮拉·魯斯（Daniela Rus）說，“我們不再是先訓練一個大模型再想辦法把它縮小，而是讓 CompreSSM 在模型學習的過程中自己發(fā)現(xiàn)高效的結(jié)構(gòu)。這是一種構(gòu)建 AI 系統(tǒng)的全新思路。”

結(jié)果令人印象深刻。在圖像分類基準測試中，壓縮后的模型保持了與完整版幾乎相同的準確率，訓練速度最高提升 1.5 倍。一個被壓縮到原始狀態(tài)維度四分之一左右的模型，在 CIFAR-10 基準上達到 85.7% 的準確率，而一個從一開始就以這么小的規(guī)模訓練的模型只能達到 81.8%。在目前應(yīng)用最廣的狀態(tài)空間架構(gòu)之一 Mamba上，這種方法實現(xiàn)了大約 4 倍的訓練加速，把一個 128 維的模型壓縮到約 12 維，性能仍然具有競爭力。

“你能拿到大模型的性能，因為在熱身階段你就捕獲了大部分復(fù)雜的動力學特征，之后只保留最有用的那些狀態(tài)，”查希內(nèi)說，“模型的表現(xiàn)仍然優(yōu)于從一開始就訓練小模型。”

CompreSSM 與現(xiàn)有方法的不同之處在于它有堅實的理論支撐。常規(guī)的剪枝方法是先把完整模型訓練完，再把參數(shù)剔掉，這意味著你仍然要承擔訓練大模型的全部算力成本。另一種流行的技術(shù)是知識蒸餾，需要先訓練好一個大的“教師”模型，再在它的基礎(chǔ)上訓練一個更小的“學生”模型，相當于訓練成本翻倍。CompreSSM 在訓練過程中就做出明智的壓縮決策，從而避免了這兩種額外成本。

研究團隊把 CompreSSM 與這兩種方法分別做了對比。對比一種最近提出的、用于引導(dǎo)緊湊狀態(tài)空間模型的譜方法“漢克爾核范數(shù)正則化”，CompreSSM 速度超過它 40 倍以上，同時準確率更高。那種正則化方法會把訓練速度拖慢約 16 倍，因為它在每一次梯度更新時都需要做昂貴的特征值計算，即便如此，最終得到的模型性能還是不如 CompreSSM。

在 CIFAR-10 上與知識蒸餾對比時，CompreSSM 在高壓縮率下的優(yōu)勢非常明顯：當狀態(tài)維度很小時，蒸餾出的模型準確率大幅下降，而 CompreSSM 壓縮后的模型幾乎保持了完整版的性能。而且由于蒸餾在每一步訓練中都需要讓教師模型和學生模型各做一次前向傳播，即便它的學生模型更小，訓練速度反而比完整的基線模型還慢。

研究人員用 Weyl 定理證明了一件事：在訓練過程中，單個模型狀態(tài)的重要性是平滑變化的，這些狀態(tài)的相對排序是穩(wěn)定的。這兩點結(jié)合在一起，讓使用者可以放心：那些在早期被判定為無關(guān)緊要的維度，不會在后面突然變得關(guān)鍵。

這項方法還帶有一個務(wù)實的安全機制。如果某次壓縮意外導(dǎo)致性能下降，使用者可以退回到此前保存的檢查點?！斑@讓人們對愿意付出多少性能代價擁有主動權(quán)，而不是去定義一個不那么直觀的能量閾值，”查希內(nèi)解釋說。

這項技術(shù)也有一些實際邊界。CompreSSM 在那些“內(nèi)部狀態(tài)維度與整體性能強相關(guān)”的模型上效果最好，而這種相關(guān)性在不同任務(wù)和架構(gòu)之間差異較大。該方法對多輸入多輸出（MIMO）模型特別有效，因為這類模型中狀態(tài)規(guī)模與表達能力之間的關(guān)系最強。對于每通道、單輸入單輸出的架構(gòu)，收益就比較有限，因為這類模型本身對狀態(tài)維度變化就不太敏感。

這套理論最適用于線性時不變系統(tǒng)，不過團隊也已經(jīng)開發(fā)出適用于輸入依賴、時變架構(gòu)的擴展版本——后者正在變得越來越流行。由于狀態(tài)空間模型這一大家族還延伸到了“線性注意力”等新興架構(gòu)（一種作為傳統(tǒng) Transformer 替代方案、關(guān)注度日益上升的方向），CompreSSM 的潛在應(yīng)用范圍相當廣泛。

查希內(nèi)和合作者把這項工作看作一塊墊腳石。團隊已經(jīng)展示了向 Mamba 等線性時變系統(tǒng)的擴展，未來的方向是把 CompreSSM 進一步推廣到線性注意力機制中使用的矩陣值動力系統(tǒng)，這會讓這項技術(shù)更接近支撐當今絕大多數(shù)大型 AI 系統(tǒng)的 Transformer 架構(gòu)。

“這必須是第一步，因為在這里理論是干凈的，方法能保持原則性，”查希內(nèi)說，“這是一塊墊腳石，之后再向業(yè)界今天實際使用的其他架構(gòu)擴展?！?/p>

“查希內(nèi)和同事的工作，為現(xiàn)代狀態(tài)空間模型（SSM）的壓縮問題提供了一個有趣且理論扎實的視角，”ELLIS 圖賓根研究所首席研究員、馬普智能系統(tǒng)研究所獨立課題組組長安東尼奧·奧爾維耶托（Antonio Orvieto）評價道。他未參與這項研究?！斑@項方法提供了證據(jù)，證明這類模型的狀態(tài)維度可以在訓練過程中被有效降低，而且控制論視角可以成功地指導(dǎo)這一過程。這項工作為未來研究開辟了新方向，所提出的算法有潛力成為預(yù)訓練大型 SSM 模型的標準做法?！?/p>

這項研究已被 ICLR 2026 接收，將于本月晚些時候在會議上發(fā)表。研究部分由馬克斯·普朗克-ETH 學習系統(tǒng)中心和 Hector 基金會資助。

https://news.mit.edu/2026/new-technique-makes-ai-models-leaner-faster-while-still-learning-0409