北京
Naomi Saphra在演講開頭講了一個簡短的故事：她有個學生叫Alex，微積分期末考試拿了A+。那么，Alex現在擅長微積分嗎？如果考試用的是同一份卷子，你可能不會太相信這個分數；可如果老師不怎么偷懶，只是從過去50年的題庫里抽題，Alex又事先刷完了全部50年考題，這時候Alex到底算不算擅長微積分？對人來說，答案是肯定的，因為學會微積分遠比背下50年真題更輕松。
把同樣的場景換到語言模型身上，結論卻截然相反。Saphra給出了第一條規則：語言模型只要有機會就會選擇死記硬背。對它們而言，記住50年微積分考題比真正學會微積分要容易得多，模型永遠挑省力的路走。所以，單憑一個模型在某個題目上做對了，并不能證明它掌握了題目背后的概念。要讓模型學會推廣，就必須用多樣化的訓練數據，讓單純的記憶無法包打天下，同時必須在模型從未見過的保留數據集上進行測試。對于今天這些能力極強的模型，僅僅避開某個完全相同的子集已經不夠了——我們甚至需要重新定義，怎樣才算是強大模型“沒見過的例子”。
一種思路是檢查模型能不能一字不差地輸出你給它的內容。最典型的就是機械重復：讓語言模型復述一段《圣經》引文非常簡單，因為它在訓練中幾乎見過每一句引用數不清的次數。但也存在另一些情況，模型能完整還原出訓練集中極少現身的內容，比如計數序列“28、29、30、4、5”。盡管Pythia系列模型在訓練中只見過這種模式一兩次，它們每次都能準確補全。原因很簡單，這只是在數數，而模型確實學會了把數數的能力泛化。
這引出了一個關鍵分歧。正方會說：既然模型連考試題庫都能背下來，這種高分背后就是記憶的假象，說明模型離真正“理解”還差得遠。反方則會反駁：計數例子證明，只要有足夠多樣化的計數場景作為訓練素材，模型同樣能形成泛化能力，并不是什么都靠死記。兩種觀點對立的實質，在于我們如何定義“沒見過的例子”——不只是一模一樣的字符串出現與否，而是模型是否見過我們關心的概念之間的特定組合。如果模型從未見過某種概念搭配，卻仍能正確處理，那才算是學到了可遷移的東西。
Saphra的判斷更貼近反方的延伸：語言模型的確酷愛走記憶捷徑，但這不妨礙它在面對多樣化樣本時提煉出抽象的規律。關鍵不在模型本身懶惰，而在于我們喂給它的數據是否足夠豐富，迫使它不得不通過學會“為什么”來解決問題，而不是靠復制“是什么”。因此，評估一個模型是否真懂某個領域，不能只靠調換題目表面文字，而要設計那些組合了陌生概念的場景，去檢驗它是否從多樣化的訓練中真正學會了泛化。
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
