北京
聞樂 發自 凹非寺
量子位 | 公眾號 QbitAI
沒有訓練梯度的AI，打破了Atari游戲滿分紀錄。
OpenAI核心研究員翁家翌提出了一個強化學習新范式——
啟發式學習（Heuristic Learning, HL）
全程無神經網絡訓練、無梯度更新，全程靠GPT-5.4驅動的Codex自主迭代，硬是在經典游戲Breakout上打到了864分理論滿分。
與傳統深度強化學習優化神經網絡參數不同，HL不依賴可微權重存儲策略，而是將決策邏輯遷移到離散程序空間，以代碼編輯替代梯度下降，通過顯式的符號規則實現狀態-動作映射。
在游戲、機器人仿真多項任務里，該方法性能甚至超過老牌強化學習算法PPO。
以程序代碼為載體
傳統深度強化學習（DRL）長期默認智能體的決策核心必須依托神經網絡實現。
比如在游戲里，當觀測到游戲小球位于左側時，神經網絡通過復雜映射直接輸出「向左移動」的動作；
但整個決策過程是隱式黑箱的，沒人能清晰拆解內部邏輯，只能依賴梯度下降算法盲目迭代擬合。
也正因這種底層架構，深度強化學習始終難以逾越三大核心瓶頸。
一是災難性遺忘。神經網絡以參數存儲習得技能，新任務的梯度迭代會直接覆蓋舊有權重，無法實現多任務持續學習。
二是決策黑箱、不可解釋。智能體每一次動作選擇都隱藏在海量網絡權重與矩陣運算中，無法追溯決策依據，也不能人工干預、拆解邏輯。
三是樣本效率低下。依賴海量環境交互數據完成訓練迭代，收斂周期長、算力消耗巨大，整體研發與落地成本高。
HL的思路很直接，既然參數更新是問題的根源，那干脆不要參數。
它把智能體的決策策略從神經網絡的權重轉化為可讀的程序代碼，把學習從梯度優化變成代碼編輯。
在HL的框架里，AI維護的不再是單一策略文件，而是一套完整的智能化軟件系統：
顯式的狀態檢測器（“球在左上方，速度向右”）、顯式的規則邏輯（“如果球將落在左側，則向左移動”）、還有測試用例、回歸檢查、失敗記錄、版本歷史。
每次迭代，Codex會審視系統表現，閱讀失敗錄像，分析日志，然后做出結構性調整。
這種范式的關鍵的優勢是：知識是顯式的。
舊能力不會被覆蓋，而是封裝成模塊和測試，隨時可調用、可驗證、可傳承。
就像翁家翌說的：
HL把持續學習從“如何更新參數”變成了”如何維護一個持續吸收反饋的軟件系統”。
當然，HL并不是完全排斥梯度技術，它內部某些組件（如模型預測控制MPC）仍然會用梯度做局部搜索。
但關鍵在于這類梯度運算不用于神經網絡訓練與參數更新，僅服務于實時動作決策。
而且這種架構設計讓HL原生自帶可解釋、抗遺忘、高效率的特性。
Atari滿分，機器人控制SOTA
不只是拿到Breakout的864分，翁家翌完成了完整的Atari 57大規模測試（Atari 57是行業公認的強化學習基準測試集，包含57款不同類型的經典游戲，覆蓋離散動作空間的各類決策場景）。
每款游戲設置兩種觀測模式，各自重復三輪實驗，最終生成342條獨立的智能編碼迭代軌跡。
結果顯示，在統一環境交互步數的前提下，啟發式學習HL的整體中位表現，已經和PPO等主流深度強化學習算法持平。
在Breakout、Asterix、Jamesbond等多款經典游戲中，成績甚至超越人類玩家基準水平。
相比游戲離散決策，MuJoCo機器人連續控制任務難度更高。
以四足機器人Ant為例，需要協同調控8個關節，在高維連續動作空間中維持動態平衡。
啟發式學習HL從基礎節律步態規則起步，逐步迭代加入姿態反饋、觸地信號感知、短程模型預測等邏輯，最終綜合評分突破6000 分，性能完全對標專業深度強化學習模型。
在HalfCheetah獵豹仿真任務中，HL更是跑出了11836的平均高分，展現出在復雜連續控制場景的極強適配能力。
不過翁家翌也沒有回避HL的邊界。
他直言：
在我目前認知范圍內，我想不出有個agent能搓出一個純Python code、不用神經網絡去解決 ImageNet。
從原始像素中完成目標識別、特征抽象，依舊是深度神經網絡不可替代的強項。
而啟發式學習HL的核心價值，集中體現在策略持續迭代層面，當環境動態變化、需要長期自適應調整行為邏輯時，顯性化的代碼規則系統更適配持續學習需求。
所以，當下關鍵的命題在于如何把神經網絡與HL有機融合，一并攻克在線學習與持續學習兩大難題。
翁家翌指出最具落地前景的思路是，依托HL實時處理在線環境數據流，快速沉淀可復用的在線行為經驗；
再將這些顯性經驗整理、內化，轉化為可訓練、可回歸、可篩選的高質量數據集，反過來對神經網絡做周期性迭代更新。
[1]https://x.com/Trinkle23897/status/2052596837547495549
[2]https://trinkle23897.github.io/learning-beyond-gradients
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
