![]()
如果我們談到 AI 賦能帶來的科學突破,AlphaFold 一定是不可忽略的一項。它解決了困擾生物學界半個多世紀的蛋白質折疊難題,大量壓縮了得到蛋白質結構的時間,從原來的一年,到現在的幾分鐘。它的核心開發者之一 John Jumper 也因這一貢獻在 2024 年摘得諾貝爾化學獎。
乍看之下,AlphaFold 似乎是另一個 Scaling Law 的佐證,足夠大的模型,足夠多的數據,涌現出驚人的突破。而這就關聯出 AI 圈近年來反復被提及的理念:“苦澀的教訓”(the bitter lesson),即凡是依賴人類領域知識和人工設計的方法,長期來看都會被純算力和數據擊敗。
但 Jumper(前 Google Deepmind 科學家,現已加入 Anthropic)本人在最近與 Machine Learning Street Talk 的訪談中親口否認了這一點,他認為 AlphaFold 的成功并不來自于無腦堆算力。相反,它的成功是對“苦澀的教訓”的有力反駁。
AlphaFold 解決了什么
為了更好地理解 AlphaFold 帶來的突破,我們需要先回到蛋白質上。蛋白質最初是一條長鏈,由二十種氨基酸像字母表一樣串接而成。這條鏈一旦合成完畢,就會自我組裝;通過扭曲、盤繞和折疊,形成一個緊湊而獨特的三維形狀,里頭有螺旋、有折疊片。而正是這個最終形狀決定了它的功能。Jumper 喜歡這樣比喻:這就像一個宜家書架,打開包裝箱的瞬間,它就開始自動成型。
![]()
(來源:DeepMind)
蛋白質相關研究的難點在于蛋白質結構復雜,需要大量人力物力的投入。過去科學家只能先把蛋白質結晶,再依賴體積龐大的同步加速器,產生超高亮度的 X 射線去做結構分析。
這個摸索過程非常耗時,往往要耗上數年。Jumper 回憶,有些學生直到博士快畢業了,做匯報的進展還只停留在某個蛋白質的“結晶過程”。同時他們心里明白,也許他們畢業了也沒能等到“結晶”結束。在這個問題中,無數科學家投入了大量的資源,最終也只積累了大約二十萬個結構數據。在 AlphaFold 立項時,這個數字還只有十四萬左右。
AlphaFold 的突破體現在三個層面:它的預測誤差縮小到了原子半徑級別,精度開始足以媲美傳統實驗方法; 速度從一年縮短到五到十分鐘; 規模的進展是最為驚人的,AlphaFold 團隊已經預測了兩億個蛋白質的結構,幾乎囊括了地球上所有已測序生物體內的每一種蛋白質,并且向全球免費開放。
Jumper 說,AlphaFold 的意義不僅在于它科學層面上的突破,更在于它的示范性,我們究竟該如何利用 AI 解決人類的科學難題。
![]()
(來源:Machine Learning Street Talk 訪談視頻截圖)
從結構到生物: Midnolin 蛋白的啟示
Jumper 談到,結構本身只是起點。從“擁有結構”到“真正搞懂生物學”之間,中間還有很長的路。
他舉了一個讓他印象深刻的例子。幾年前有一項研究,探討細胞如何回收清除廢棄的蛋白質。研究者發現,在細胞發育的某個階段,有數百個基因被關閉了,但不知道具體涉及到哪些蛋白質。通過遺傳學分析,他們鎖定了一種此前幾乎無人研究過的蛋白質:Midnolin。而它的運作方式不符合任何已知的標準路徑。
于是他們運行 AlphaFold,把 Midnolin 和受敲除影響的近五百種蛋白質一起輸入做聯合預測。團隊驚訝地發現,約 40% 蛋白質呈現出一個非常獨特的模式:目標蛋白質的某個部分,被死死卡在 Midnolin 的兩個部分之間,就像被一把鐵鉗夾住。
研究人員隨后回到實驗室繼續驗證:把 AlphaFold 預測中“被夾住的位點”人工移除,降解立刻停了。研究人員總共測了 10 個樣本,9 個完美吻合結論。但第 10 個的結果只是部分減弱,于是他們回頭復核,發現 AlphaFold 實際識別出了兩個結合位點; 當把第二個位點也移除后,降解現象便徹底消失了。就這樣,科學家對一種新蛋白質建立起了機制層面的理解。
Jumper 強調,AlphaFold 在研究里最核心的貢獻,是精準鎖定那些我們尚不了解其重要性的蛋白質。他用了一個老套的比喻,工廠里最重要的機器罷工了,技術員走進來,徑直擰了某顆螺絲四分之一圈,機器立刻恢復轟鳴。
但僅僅只是這么一個簡單的動作,它的維修費卻可能高達一萬美元。因為擰螺絲本身只值五毛錢,而知道該擰哪里值剩下的九千九百九十九塊五。Jumper 說,這和如今藥物制造的困境很像,在龐大復雜的細胞工廠里,人們需要具體弄明白到底是哪一處出了問題。
主持人隨即提出了一個機器學習圈普遍的擔憂:人體結構非常復雜,干預一處,別的機制立刻補償。因此,會不會出現生物學版的“打地鼠”的場景?Jumper 的回答是,正因如此,AlphaFold 才必須保持克制:
“我們并不企圖解釋一切,更不是整個細胞的通用模型。你以前做這種實驗可能要花上一年,而我們只是這個實驗結果的預測器。”
在他看來,AlphaFold 的價值恰恰在于它的窄。它能非常精準地量化自己復現某個實驗結果的能力,然后把這臺機器交給研究者,由他們自己去探索用處。研究者會以團隊意想不到的方式使用它:跑成千上萬次預測,去尋找能相互結合的蛋白質對,去挖掘復雜系統里的未知成分。
反對“苦澀的教訓”
接著,主持人問起 AlphaFold 各版本架構是怎么一步步演進的,并且特意提到外界對幾何深度學習、對 SE(3) 對稱性的津津樂道。很多人把 AlphaFold 2 的成功,歸到這些很酷的概念上。
Jumper 先是把 AlphaFold 發展的脈絡捋了一遍:AlphaFold 1 用的是在計算機視覺里開發好的現成 CNN,所有針對蛋白質的特殊處理,不過是包在外面的一層補丁。到了 AlphaFold 2,核心理念變了:它要針對蛋白質折疊這個任務,從頭搭一個科學架構。
于是就有了那個龐大的主干 EvoFormer。它利用了一個事實:蛋白質演化極其緩慢(人體內的蛋白質結構,往往和酵母菌、甚至大腸桿菌里的極其相似),所以能抓來成百上千條進化相關的序列,這便可以在“幾何認知”和“演化認知”之間搭起橋梁。
這一主干占用了 90% 以上的計算量,但也貢獻了 90% 以上的準確率。再往后,是被 Jumper 稱作“幾何化引擎”的結構模塊,里頭有巧妙的“不變點注意力機制”(IPA),和一個起了決定性作用的損失函數,“框架對齊點誤差”(FAPE)。
外界一口咬定,等變性(equivariance)和 SE(3) 不變性就是 AlphaFold 2 能成功的唯一原因。Jumper 并不認可,于是索性做了一大堆消融實驗,把各個組件一個個關掉,看結果會如何發展。
他發現 AlphaFold 2 在 GDT 指標上比 AlphaFold 1 高出大約 30 分;而把不變性和等變性拿掉,頂多也就損失 2 到 2.5 分。Jumper 無奈地說,“它確實有貢獻,可這只是 30 分里的 2.5 分而已。我本以為這足夠平息爭論了,結果并沒有。”
人們照舊把 AlphaFold 2 捧成等變性的偉大勝利,對真正要緊的 FAPE 只字不提,反倒揪著一個等變 Transformer 不放。在這件事上,Jumper 把自己形容成一個“極度冷酷的實證主義者”。
他認為是全局 SE(3) 對稱性其實算不上一種很強的對稱性,跟“所有殘基都是置換不變的”那種量級根本沒法比;它只是一個亂糟糟的現實問題里冒出來的對稱性,起不到物理學里那種從對稱群一路推出整套定律的決定性作用。
有一回團隊在處理成對信息時,把軸向注意力和卷積混著用;后來有人干脆把所有卷積層都刪了,一個參數沒加,總參數量實打實地降了下來。結果模型反而更準,驗證損失也改善了。還有消融實驗顯示,把原始遺傳信息去掉、改用成對相關性,性能也就掉一兩分。
而可解釋性分析又發現,AlphaFold 大部分的模型容量,都花在了從幾何層面去優化結構上;過了最初幾層之后,它更像一個“幾何引擎”,而不是“進化引擎”。這些洞見后來全被帶進了 AlphaFold 3。團隊選擇大刀闊斧砍掉 EvoFormer 的層數,換成簡化版的 Pairformer,性能反倒上去了。
也正是由此,Jumper 表明了他對“苦澀的教訓”的反對:AlphaFold 2 在架構和訓練上注入的那些定制化創新,換來的是 100 倍的數據效率飛躍;AlQuraishi 實驗室曾經只用 1% 的 PDB 數據(大約 1,500 個結構)重訓 AlphaFold 2,準確率竟然就超過了 AlphaFold 1。所以他認為,AlphaFold 帶來的啟迪絕不是學者不該繼續做架構研究。
擴散模型
談到一年前發布的 AlphaFold 3,外界又習慣性地貼上一個標簽:擴散模型。Jumper 再次表示要在概念層面提出異議,他不喜歡簡單地把 AlphaFold 3 稱作一個擴散模型,因為這會重復“因為它是 Transformer 所以才有效”那種過度簡化的理解。
![]()
(來源:Nature)
AlphaFold 3 的真正突破,是從只盯著單個蛋白質,擴展到整個蛋白質電影宇宙:蛋白質會和膽固醇這樣的脂質分子結合,也會和藥物(通常是二三十到五十個原子的小分子)結合。AlphaFold 2 不能回答“這種藥物如何結合”的問題,它只會說“你最好給我一個蛋白質”;而 AlphaFold 3 把模型擴展到了 PDB 里出現的所有物質,所以能指出藥物結合的精確位置。
至于其中的擴散過程,Jumper 強調它和圖像領域的擴散截然不同。AlphaFold 3 有一個巨大的、只運行一次的主干網絡,這部分根本不是擴散;分子結構很可能就是在這里被決定的。擴散過程扮演的角色,更像當年的結構模塊:一臺“幾何化引擎”,接收一組相當精準的約束,對整體結構已有清晰的宏觀概念,再據此求解微觀細節。
他舉了一個很妙的對比。圖像擴散是先生成一堆彩色色塊,到后期才決定這些色塊代表什么意思;你甚至能中途叫停、重新運行,對同樣的色塊得出截然不同的解讀。但蛋白質不行。對蛋白質而言,宏觀的大尺度結構才是最難的部分。
AlphaFold 2 是凝聚式地工作:先搞定最容易預測的局部碎片,再慢慢拼裝成整體。而 AlphaFold 3 的擴散網絡必須反過來,率先跨過“兩個蛋白質如何相互結合、它們主干的相對位置在哪”這道門檻。它靠的是前面龐大的主干加上擴散網絡的第一遍前向傳播,先求解出整體宏觀結構,之后的擴散過程只是在敲定那些尚未解決的細枝末節、在各種可能的細節里采樣。
所以,盡管技術上它確實是擴散模型,但其內在邏輯遠比想象中更接近 AlphaFold 2。Jumper 真正想表達的是,糾結“它是擴散模型還是 Transformer”遠不如理解那些關鍵的技術細節來得重要。
預測、控制與理解
Jumper 在訪談中區分了三件容易混淆的事:
預測:我要做一件事,未來我的屏幕上、我的儀器上會出現什么數值。
控制:我希望未來測到的那個值是 17,那我應該如何干預。
理解:它和預測很像,區別在于有人類參與循環(human in the loop)。理解意味著我只掌握極少量事實,你就能據此預測,而且能用緊湊的形式,把它傳達給另一個人。
Jumper 認為機器賦予了我們預測和控制的能力,但理解這件事,仍然必須由人類自己去推導和構建。我們可以拿這兩億個預測結構當作實驗對象去研究、去幫助理解,但機器本身并不能替我們完成“理解”這個動作。
由此,他還引出一個機器學習里極重要的概念:世界上有兩種算法,一種是你親手編寫的;另一種是你最終訓練出來的。
機器學習的本質,就是代碼與數據相遇、凝結成權重的過程。而長久的爭論在于,最終的本領里有多少歸功于代碼,多少歸功于沉淀在權重里的數據。AlphaFold 的迷人之處在于,它最終學會的算法是一種我們能夠理解、能用寥寥數語講清楚的算法:連續的幾何精煉。
智能與表征
訪談的最后落到了一個更宏大的問題:這一切發展對通用人工智能意味著什么。Jumper 的態度一如既往地克制。
![]()
(來源:Youtube)
他認為,以顯式方式去設定“表征”的重要性,已經遠不如五年前人們以為的那樣了。AlphaFold 就是證據。代碼強制它做的,它固然會做;但它許多驚艷之舉,并非出自代碼的強制規定。為了把數據預測得足夠準,它必須自己去尋找優質的中間表征。
機器學習曾長期沉迷于一種誘惑:既然我知道最終一定需要某個概念,就在網絡里專設一個單元去命名它、強制中間層生成解耦表征。但后來人們發現,許多曾被認為“智能”必不可少的要素,僅僅在模型精準預測下一個 token 的過程中,就自然涌現了。
用 Jumper 的話說:它們涌現,不是因為你在預測下一個 token,而是因為你把預測下一個 token 這件事做到了極致。
代價是 Scaling Law 里那條大家最不喜歡的對數線性關系,往往要投入指數級的算力和數據,才能換來能力的線性提升。
Jumper 這樣理解當下未解的核心問題:我們的確獲得了這些概念和表征,但如何才能用更低的成本獲得它們?今天我們能用軟件腳手架給模型外掛記憶、不斷提醒智能體當下的目標,來修補它的固有缺陷;可我們還不知道,如何把這些外部能力無縫“蒸餾”回神經網絡內部,讓它本身具備不再依賴外掛的本領。
這大概是 AlphaFold 這個故事最有意思的地方。一個剛剛為人類破解了半個世紀難題并因此封神的系統;它的締造者卻始終拒絕把它供上神壇——等變性沒那么神,擴散模型沒那么神,“理解”這件事本身也遠沒有被解決。Jumper 在乎的始終是那些不起眼的笨功夫,以及從預測到控制、再到人類自己去構建理解的那段距離。
https://www.youtube.com/watch?v=e3gBwLWAerw
運營/排版:何晨龍
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.