最近,Nature 發表了一篇非常有意思的文章——《A critical initialization for biological neural networks》。這篇文章討論的并不是傳統意義上的“學習算法”,而是在追問一個更根本的問題:為什么生物大腦能夠如此高效地學習?為什么動物在出生后幾乎不需要大量訓練,就能迅速適應環境、形成行為甚至掌握復雜認知能力?
過去幾十年,無論是神經科學還是人工智能領域,一個默認前提都是:智能主要來源于后天學習。但這篇文章提出,真正關鍵的可能并不是后天訓練,而是神經網絡在出生時是否已經被初始化到一種“適合學習”的狀態。換句話說,大腦真正厲害的地方,可能并不是學習本身,而是它在開始學習之前,就已經擁有了一個高度優化的結構基礎。
論文概要
項目
內容
論文標題
A critical initialization for biological neural networks
發表期刊
Nature
核心觀點
生物神經網絡存在“關鍵初始化”
研究方向
神經科學 × AI × 發育生物學
主要思想
學習效率來源于先天網絡結構,而不僅是后天訓練
AI啟發
當前AI可能忽略了最重要的問題——初始化
這篇文章實際上是在重新定義“學習”本身。作者認為,生物神經系統并不是像當前人工神經網絡一樣,從隨機參數開始慢慢訓練。相反,大腦在出生之前,就已經通過發育和演化,被組織成一種非常適合學習的狀態,因此后續經驗更多是在已有結構上的微調,而不是從零開始構建能力。
![]()
為什么動物學習速度遠超AI?
文章一開始提出了一個很經典但經常被忽略的問題:為什么很多動物幾乎不需要訓練,就能迅速形成復雜行為?比如小鹿出生后幾個小時就能站立,嬰兒天然偏好人臉,幼鳥能夠快速識別危險,而當前人工智能模型往往需要海量數據和長時間訓練,才能完成類似任務。
作者認為,這種差異背后的關鍵,并不在于學習規則,而在于初始網絡結構是否正確。當前AI大多采用隨機初始化,再通過數據不斷優化參數;而生物神經網絡則可能在出生前,就已經形成了特定的連接拓撲、興奮與抑制平衡、動態傳播特征以及穩定的信息處理模式。因此,生物學習并不是“從無到有”,而是在一個已經高度組織化的網絡中快速適應環境。
文章真正核心:臨界狀態(criticality)
這篇文章最重要的理論核心,其實是“criticality(臨界性)”。這是復雜系統科學中的經典概念,簡單來說,就是系統既不能過于穩定,也不能過于混亂,而是需要位于秩序與隨機之間的邊界狀態。
作者認為,大腦在出生時就已經被初始化到了這種“臨界狀態”。在這種狀態下,神經網絡的信息傳播效率最高,對外界刺激最敏感,同時又能保持整體穩定,因此既具備高可塑性,又不會陷入噪聲失控。
文章認為,很多生物智能的本質,都可能來源于這種臨界動態結構。因為在過度穩定的網絡中,信息很難傳播,學習能力會下降;而在過度混亂的網絡中,信號又會被噪聲淹沒,無法形成穩定記憶。只有位于臨界點附近,系統才同時具備復雜行為生成能力與快速學習能力。
演化真正優化的,可能不是行為,而是初始化
文章里一個非常高級的觀點是:演化真正優化的,也許并不是具體行為,而是神經網絡的初始結構。
傳統觀點通常認為,動物依賴后天經驗形成行為;但作者提出,從更長時間尺度來看,真正“學習”的其實是物種演化本身。數億年的自然選擇,并不是直接編碼某種行為,而是在不斷優化神經網絡的初始拓撲和動態特性,使每個個體出生時,就已經擁有一個“適合學習”的大腦。
這其實和當前AI的發展方向非常像。因為現在大模型最重要的部分,并不是后續微調,而是大規模預訓練形成的基礎模型。作者甚至認為,生物大腦本質上也是一種經過長期演化“預訓練”的系統。
![]()
為什么這對AI特別重要?
文章對人工智能最大的沖擊在于,它暗示當前AI的發展方向可能存在一個根本問題:大家都在關注更大的模型、更長的訓練、更高的算力,但真正被忽略的,可能是初始化本身。
當前深度學習模型通常從隨機權重開始訓練,因此需要巨量數據和極高能耗;而生物神經網絡由于已經被演化優化到接近“臨界狀態”,所以只需要少量經驗,就能迅速形成復雜能力。
因此,作者提出未來AI可能需要一種新的方向:developmental initialization(發育式初始化)。也就是說,AI不應該直接從隨機參數開始,而應該先經歷類似神經發育的階段,逐漸形成適合學習的網絡結構,然后再進入真正的學習過程。
![]()
發育生物學可能比學習本身更重要
文章還把這個理論進一步連接到了發育生物學。作者認為,胚胎時期的大腦發育過程,其實不僅是在“長出大腦”,更是在完成神經網絡的初始化。
包括神經元遷移、軸突導向、突觸修剪、興奮與抑制平衡形成,以及睡眠相關活動等過程,都可能是在把神經網絡推向一種適合學習的臨界狀態。因此,很多所謂“關鍵發育窗口”,本質上可能是在完成網絡動態結構的建立,而不僅僅是簡單的生長。
這也能解釋為什么兒童時期的大腦具有極高學習能力。因為相比成年人,兒童大腦更加接近臨界狀態,網絡更敏感、更動態、更容易形成新連接,因此語言學習、認知形成和環境適應速度都遠高于成年后。
![]()
這篇文章為什么值得關注?
這篇 Nature 最吸引人的地方在于,它并不是單純討論“神經網絡如何學習”,而是在重新思考:為什么神經網絡能夠學習。
它把神經科學、復雜系統、發育生物學和人工智能連接到了一起,并提出了一個非常重要的思想:
智能可能并不是訓練出來的,而是“初始化”出來的。
真正決定系統是否能夠高效學習的,也許不是后天經驗本身,而是系統在開始學習之前,是否已經被組織到了正確的狀態。
而生物演化,可能早已替大腦完成了數億年的“預訓練”。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.