神經計算機橫空出世：AI不再調用軟件，而是直接長成一臺計算機

過去幾十年里，人類使用計算機的方式始終沒有發生根本變化：我們編寫程序，機器按照指令執行。

但隨著大模型的發展，這種關系正在悄然改變，人類開始不再描述“如何做”，而是直接表達“想做什么”，而系統則負責推理并完成整個過程。在這一背景下，師從被譽為“現代人工智能之父”“LSTM 之父”的于爾根·施米德胡伯，來自 Meta 與 KAUST（阿卜杜拉國王科技大學）的諸葛鳴晨與田淵棟等合作者，提出了一種名為“神經計算機”的新設想：讓神經網絡直接學習如何使用計算機本身，而不是依賴已有的軟件接口、工具鏈或程序結構。換句話說，這種路徑并不是讓AI更好地使用現有軟件，而是嘗試讓“軟件本身”逐漸進入模型內部。

論文公開后，他們很快發現，這個看似抽象的設想引發了出乎意料的關注：在 X 上獲得了超過近九百條轉發和超過一百多萬瀏覽量。

對諸葛鳴晨來說，這不僅是一次傳播上的反饋，也讓他更加確信，這種方向確實擊中了當前 AI 發展的某個關鍵問題。

采訪中他講述了這篇論文的緣起。他剛來到 KAUST 時，跟自己的導師于爾根·施米德胡伯說，自己來這兒是因為兩個人是他的偶像，一個是 David Ha，另一個就是導師本人。這兩人有一個共同特點，擁有推廣全新研究范式的能力。比如他們在 2018 年合作的世界模型，是關于施米德胡伯教授在 1990 年的《Make the World Differentiable》里的用遞歸神經網絡實現世界模型的工程實現。

除了為人熟知的 LSTM 等 AI 時代的巨作，施米德胡伯提出的在 2003 年提出的戈德爾機器，推動了遞歸自我進化這個方向。從 2024 年末開始，諸葛鳴晨多次與導師于爾根·施米德胡伯討論“神經計算機”的設想。他們反復討論的一個問題是：AI 究竟只是更高效地使用計算機，還是會成為一種新的計算機形態？

逐漸地，一個更激進的判斷開始成形，這可能是 AI 邁向下一階段的重要方向。

與當前常見的“AI 代理”不同，這種系統并不依賴預先定義好的接口或工具調用。它直接從屏幕像素和用戶操作中學習整個計算機的運行方式，而不是通過預定義接口去調用已有軟件功能。

換句話說，它不是在“調用軟件”，而是在“直接生成一整臺計算機的運行過程”。也就是說，原本分散在操作系統、軟件和工具鏈中的功能，正在被壓縮進同一個學習系統之中。

傳統的計算機有明確的分工，處理器負責計算，內存負責存儲，操作系統負責調度，你按下一個鍵，它執行一段寫好的程序。神經計算機則無需依靠任何人寫的代碼，只需通過觀看大量的屏幕錄像和操作記錄來學習。

為了實現原型，研究團隊一共探索了 6 種完全不一樣的數據收集方式，收集了超過 80 萬條命令行操作片段，總時長大約 1,100 小時，還收集了大約 1,500 小時的圖形桌面操作記錄。他們采用約 25 萬個 H100 GPU hours 訓練了 8 個截然不同模型，這些模型看多了之后，自己學會了終端里的文本應該是什么樣子的，光標應該怎么移動，窗口應該怎么彈出。它沒有學過一行操作系統的代碼，卻能通過觀察屏幕像素的變化來掌握系統行為。這也意味著，它不是在執行明確規則，而是在大量非結構化的觀察中歸納出“計算機如何運作”。換句話說，它不是在運行程序，而是在學會成為一臺計算機。

命令行（CLI）模型的學習過程是這樣的，一開始它生成的終端畫面完全不可讀，文字亂成一團。訓練了 2.5 萬步之后，它開始能夠寫出來清晰的字符，顏色和格式也都對得上。越往后學，它生成的內容和真實操作的差距就越小。研究人員使用了一個名為 Tesseract 的文字識別工具來評估模型的生成質量，發現字符準確率從最初幾乎不可讀（約 3%），提升到超過一半內容可以被正確識別（54%）。

這意味著，模型已經能夠生成一個在外觀和結構上都接近真實的終端界面。不過當涉及到算術運算時，模型就會露怯。問它 28 減 23 等于多少，它經常給出錯誤答案。但是，如果在指令中把答案也告訴它，它就能準確地把那個數字顯示在屏幕上。這說明目前的神經計算機更像一個模仿者，它能夠學會“計算機看起來是如何工作的”，卻還沒有真正掌握“計算本身”。

換句話說，它擅長復現結果的表現形式，但還不具備生成結果的內在能力。這種能力上的不均衡，也體現了當前這類系統的一個典型特征：它可以在某些模式明確的任務上表現出色，卻在看似簡單的問題上出現明顯失誤。

（來源： https://arxiv.org/pdf/2604.06425v1）

圖形桌面模型（GUI）面對的是短時控制的挑戰，它需要理解鼠標移動、點擊、拖拽這些動作和屏幕變化之間的關系。研究人員嘗試了四種模型（擁有不同的動作注入方式）來輸入這些操作信息。

最簡單的方式是把操作信息疊加在輸入畫面上，稍復雜的方式是在模型內部的注意力機制里單獨加一個處理操作的模塊。結果發現，讓操作信息在模型內部更深的地方參與計算，模型學到的控制效果更好。為了實現更加精確的光標控制，研究人員還給模型加了一個額外的監督信號，單獨告訴它光標應該在什么位置。加上這個信號之后，光標位置的準確率從不到 14% 飆升到了 98.7%。

然而一旦涉及多步驟的任務，比如連續處理多個文件，模型還是容易出現狀態漂移，做著做著就和真實屏幕對不上了。這也說明模型在短時控制上已經取得進展，但在長時狀態保持和連續推理上仍然存在明顯挑戰。

（來源：https://arxiv.org/pdf/2604.06425v1）

據了解，研究人員把此次神經計算機看做一種全新的機器形態。他們設想的更遠目標，是一種“完全神經計算機”：不僅能夠模仿屏幕，還可以穩定執行任務、持續學習，并讓能力在系統內部長期保留和復用。

（來源：https://arxiv.org/pdf/2604.06425v1）

諸葛鳴晨告訴 DeepTech：“如果沒有這份工作，我給自己博士生涯的打分大概是 70 到 80 分，但有了這份工作之后，我覺得自己完全滿足了，打出了 95 到 98 分的高分。因為這份工作補上了我職業生涯中非常重要的一塊，我一直想成為某種新范式的提出者，而不是僅僅引出某個新話題。”

從更長遠的角度看，這項工作的意義不在于它今天能做到什么，而在于它提出了一種新的可能性：如果計算機本身可以被學習，而不是被設計，那么“軟件”這一概念本身也可能發生變化，甚至不再以我們熟悉的形式存在。

對諸葛鳴晨來說，這項工作不僅是一篇論文，更像是他一直想完成的一件事，提出一種新的研究范式，而不是只是在已有問題上不斷推進。

未來的系統，很可能不再由固定程序構成，而是在每一次任務中動態生成執行過程。人類不再需要操作軟件，也不再需要描述步驟，而是直接給出目標，由系統在內部完成推理、生成路徑并執行。

一旦這種模式成立，計算機將不再只是執行指令的工具，而是一種能夠自行運行、持續完成任務的機器形態。到那時，被改變的將不只是使用方式，而是“計算機”這個詞本身的含義。

參考資料：
相關論文https://arxiv.org/pdf/2604.06425v1

排版：胡莉花

注：封面/首圖由 AI 輔助生成