无主之地2配置高吗|看真人裸体BBBBB|秋草莓丝瓜黄瓜榴莲色多多|真人強奷112分钟|精品一卡2卡3卡四卡新区|日本成人深夜苍井空|八十年代动画片

網易首頁 > 網易號 > 正文 申請入駐

Jumper跳槽Anthropic后復盤:AlphaFold成功不靠堆算力

0
分享至



如果我們談到 AI 賦能帶來的科學突破,AlphaFold 一定是不可忽略的一項。它解決了困擾生物學界半個多世紀的蛋白質折疊難題,大量壓縮了得到蛋白質結構的時間,從原來的一年,到現在的幾分鐘。它的核心開發者之一 John Jumper 也因這一貢獻在 2024 年摘得諾貝爾化學獎。

乍看之下,AlphaFold 似乎是另一個 Scaling Law 的佐證,足夠大的模型,足夠多的數據,涌現出驚人的突破。而這就關聯出 AI 圈近年來反復被提及的理念:“苦澀的教訓”(the bitter lesson),即凡是依賴人類領域知識和人工設計的方法,長期來看都會被純算力和數據擊敗。

但 Jumper(前 Google Deepmind 科學家,現已加入 Anthropic)本人在最近與 Machine Learning Street Talk 的訪談中親口否認了這一點,他認為 AlphaFold 的成功并不來自于無腦堆算力。相反,它的成功是對“苦澀的教訓”的有力反駁。

AlphaFold 解決了什么

為了更好地理解 AlphaFold 帶來的突破,我們需要先回到蛋白質上。蛋白質最初是一條長鏈,由二十種氨基酸像字母表一樣串接而成。這條鏈一旦合成完畢,就會自我組裝;通過扭曲、盤繞和折疊,形成一個緊湊而獨特的三維形狀,里頭有螺旋、有折疊片。而正是這個最終形狀決定了它的功能。Jumper 喜歡這樣比喻:這就像一個宜家書架,打開包裝箱的瞬間,它就開始自動成型。


(來源:DeepMind)

蛋白質相關研究的難點在于蛋白質結構復雜,需要大量人力物力的投入。過去科學家只能先把蛋白質結晶,再依賴體積龐大的同步加速器,產生超高亮度的 X 射線去做結構分析。

這個摸索過程非常耗時,往往要耗上數年。Jumper 回憶,有些學生直到博士快畢業了,做匯報的進展還只停留在某個蛋白質的“結晶過程”。同時他們心里明白,也許他們畢業了也沒能等到“結晶”結束。在這個問題中,無數科學家投入了大量的資源,最終也只積累了大約二十萬個結構數據。在 AlphaFold 立項時,這個數字還只有十四萬左右。

AlphaFold 的突破體現在三個層面:它的預測誤差縮小到了原子半徑級別,精度開始足以媲美傳統實驗方法; 速度從一年縮短到五到十分鐘; 規模的進展是最為驚人的,AlphaFold 團隊已經預測了兩億個蛋白質的結構,幾乎囊括了地球上所有已測序生物體內的每一種蛋白質,并且向全球免費開放。

Jumper 說,AlphaFold 的意義不僅在于它科學層面上的突破,更在于它的示范性,我們究竟該如何利用 AI 解決人類的科學難題。


(來源:Machine Learning Street Talk 訪談視頻截圖)

從結構到生物: Midnolin 蛋白的啟示

Jumper 談到,結構本身只是起點。從“擁有結構”到“真正搞懂生物學”之間,中間還有很長的路。

他舉了一個讓他印象深刻的例子。幾年前有一項研究,探討細胞如何回收清除廢棄的蛋白質。研究者發現,在細胞發育的某個階段,有數百個基因被關閉了,但不知道具體涉及到哪些蛋白質。通過遺傳學分析,他們鎖定了一種此前幾乎無人研究過的蛋白質:Midnolin。而它的運作方式不符合任何已知的標準路徑。

于是他們運行 AlphaFold,把 Midnolin 和受敲除影響的近五百種蛋白質一起輸入做聯合預測。團隊驚訝地發現,約 40% 蛋白質呈現出一個非常獨特的模式:目標蛋白質的某個部分,被死死卡在 Midnolin 的兩個部分之間,就像被一把鐵鉗夾住。

研究人員隨后回到實驗室繼續驗證:把 AlphaFold 預測中“被夾住的位點”人工移除,降解立刻停了。研究人員總共測了 10 個樣本,9 個完美吻合結論。但第 10 個的結果只是部分減弱,于是他們回頭復核,發現 AlphaFold 實際識別出了兩個結合位點; 當把第二個位點也移除后,降解現象便徹底消失了。就這樣,科學家對一種新蛋白質建立起了機制層面的理解。

Jumper 強調,AlphaFold 在研究里最核心的貢獻,是精準鎖定那些我們尚不了解其重要性的蛋白質。他用了一個老套的比喻,工廠里最重要的機器罷工了,技術員走進來,徑直擰了某顆螺絲四分之一圈,機器立刻恢復轟鳴。

但僅僅只是這么一個簡單的動作,它的維修費卻可能高達一萬美元。因為擰螺絲本身只值五毛錢,而知道該擰哪里值剩下的九千九百九十九塊五。Jumper 說,這和如今藥物制造的困境很像,在龐大復雜的細胞工廠里,人們需要具體弄明白到底是哪一處出了問題。

主持人隨即提出了一個機器學習圈普遍的擔憂:人體結構非常復雜,干預一處,別的機制立刻補償。因此,會不會出現生物學版的“打地鼠”的場景?Jumper 的回答是,正因如此,AlphaFold 才必須保持克制:

“我們并不企圖解釋一切,更不是整個細胞的通用模型。你以前做這種實驗可能要花上一年,而我們只是這個實驗結果的預測器。”

在他看來,AlphaFold 的價值恰恰在于它的窄。它能非常精準地量化自己復現某個實驗結果的能力,然后把這臺機器交給研究者,由他們自己去探索用處。研究者會以團隊意想不到的方式使用它:跑成千上萬次預測,去尋找能相互結合的蛋白質對,去挖掘復雜系統里的未知成分。

反對“苦澀的教訓”

接著,主持人問起 AlphaFold 各版本架構是怎么一步步演進的,并且特意提到外界對幾何深度學習、對 SE(3) 對稱性的津津樂道。很多人把 AlphaFold 2 的成功,歸到這些很酷的概念上。

Jumper 先是把 AlphaFold 發展的脈絡捋了一遍:AlphaFold 1 用的是在計算機視覺里開發好的現成 CNN,所有針對蛋白質的特殊處理,不過是包在外面的一層補丁。到了 AlphaFold 2,核心理念變了:它要針對蛋白質折疊這個任務,從頭搭一個科學架構。

于是就有了那個龐大的主干 EvoFormer。它利用了一個事實:蛋白質演化極其緩慢(人體內的蛋白質結構,往往和酵母菌、甚至大腸桿菌里的極其相似),所以能抓來成百上千條進化相關的序列,這便可以在“幾何認知”和“演化認知”之間搭起橋梁。

這一主干占用了 90% 以上的計算量,但也貢獻了 90% 以上的準確率。再往后,是被 Jumper 稱作“幾何化引擎”的結構模塊,里頭有巧妙的“不變點注意力機制”(IPA),和一個起了決定性作用的損失函數,“框架對齊點誤差”(FAPE)。

外界一口咬定,等變性(equivariance)和 SE(3) 不變性就是 AlphaFold 2 能成功的唯一原因。Jumper 并不認可,于是索性做了一大堆消融實驗,把各個組件一個個關掉,看結果會如何發展。

他發現 AlphaFold 2 在 GDT 指標上比 AlphaFold 1 高出大約 30 分;而把不變性和等變性拿掉,頂多也就損失 2 到 2.5 分。Jumper 無奈地說,“它確實有貢獻,可這只是 30 分里的 2.5 分而已。我本以為這足夠平息爭論了,結果并沒有。”

人們照舊把 AlphaFold 2 捧成等變性的偉大勝利,對真正要緊的 FAPE 只字不提,反倒揪著一個等變 Transformer 不放。在這件事上,Jumper 把自己形容成一個“極度冷酷的實證主義者”。

他認為是全局 SE(3) 對稱性其實算不上一種很強的對稱性,跟“所有殘基都是置換不變的”那種量級根本沒法比;它只是一個亂糟糟的現實問題里冒出來的對稱性,起不到物理學里那種從對稱群一路推出整套定律的決定性作用。

有一回團隊在處理成對信息時,把軸向注意力和卷積混著用;后來有人干脆把所有卷積層都刪了,一個參數沒加,總參數量實打實地降了下來。結果模型反而更準,驗證損失也改善了。還有消融實驗顯示,把原始遺傳信息去掉、改用成對相關性,性能也就掉一兩分。

而可解釋性分析又發現,AlphaFold 大部分的模型容量,都花在了從幾何層面去優化結構上;過了最初幾層之后,它更像一個“幾何引擎”,而不是“進化引擎”。這些洞見后來全被帶進了 AlphaFold 3。團隊選擇大刀闊斧砍掉 EvoFormer 的層數,換成簡化版的 Pairformer,性能反倒上去了。

也正是由此,Jumper 表明了他對“苦澀的教訓”的反對:AlphaFold 2 在架構和訓練上注入的那些定制化創新,換來的是 100 倍的數據效率飛躍;AlQuraishi 實驗室曾經只用 1% 的 PDB 數據(大約 1,500 個結構)重訓 AlphaFold 2,準確率竟然就超過了 AlphaFold 1。所以他認為,AlphaFold 帶來的啟迪絕不是學者不該繼續做架構研究。

擴散模型

談到一年前發布的 AlphaFold 3,外界又習慣性地貼上一個標簽:擴散模型。Jumper 再次表示要在概念層面提出異議,他不喜歡簡單地把 AlphaFold 3 稱作一個擴散模型,因為這會重復“因為它是 Transformer 所以才有效”那種過度簡化的理解。


(來源:Nature)

AlphaFold 3 的真正突破,是從只盯著單個蛋白質,擴展到整個蛋白質電影宇宙:蛋白質會和膽固醇這樣的脂質分子結合,也會和藥物(通常是二三十到五十個原子的小分子)結合。AlphaFold 2 不能回答“這種藥物如何結合”的問題,它只會說“你最好給我一個蛋白質”;而 AlphaFold 3 把模型擴展到了 PDB 里出現的所有物質,所以能指出藥物結合的精確位置。

至于其中的擴散過程,Jumper 強調它和圖像領域的擴散截然不同。AlphaFold 3 有一個巨大的、只運行一次的主干網絡,這部分根本不是擴散;分子結構很可能就是在這里被決定的。擴散過程扮演的角色,更像當年的結構模塊:一臺“幾何化引擎”,接收一組相當精準的約束,對整體結構已有清晰的宏觀概念,再據此求解微觀細節。

他舉了一個很妙的對比。圖像擴散是先生成一堆彩色色塊,到后期才決定這些色塊代表什么意思;你甚至能中途叫停、重新運行,對同樣的色塊得出截然不同的解讀。但蛋白質不行。對蛋白質而言,宏觀的大尺度結構才是最難的部分。

AlphaFold 2 是凝聚式地工作:先搞定最容易預測的局部碎片,再慢慢拼裝成整體。而 AlphaFold 3 的擴散網絡必須反過來,率先跨過“兩個蛋白質如何相互結合、它們主干的相對位置在哪”這道門檻。它靠的是前面龐大的主干加上擴散網絡的第一遍前向傳播,先求解出整體宏觀結構,之后的擴散過程只是在敲定那些尚未解決的細枝末節、在各種可能的細節里采樣。

所以,盡管技術上它確實是擴散模型,但其內在邏輯遠比想象中更接近 AlphaFold 2。Jumper 真正想表達的是,糾結“它是擴散模型還是 Transformer”遠不如理解那些關鍵的技術細節來得重要。

預測、控制與理解

Jumper 在訪談中區分了三件容易混淆的事:

預測:我要做一件事,未來我的屏幕上、我的儀器上會出現什么數值。

控制:我希望未來測到的那個值是 17,那我應該如何干預。

理解:它和預測很像,區別在于有人類參與循環(human in the loop)。理解意味著我只掌握極少量事實,你就能據此預測,而且能用緊湊的形式,把它傳達給另一個人。

Jumper 認為機器賦予了我們預測和控制的能力,但理解這件事,仍然必須由人類自己去推導和構建。我們可以拿這兩億個預測結構當作實驗對象去研究、去幫助理解,但機器本身并不能替我們完成“理解”這個動作。

由此,他還引出一個機器學習里極重要的概念:世界上有兩種算法,一種是你親手編寫的;另一種是你最終訓練出來的。

機器學習的本質,就是代碼與數據相遇、凝結成權重的過程。而長久的爭論在于,最終的本領里有多少歸功于代碼,多少歸功于沉淀在權重里的數據。AlphaFold 的迷人之處在于,它最終學會的算法是一種我們能夠理解、能用寥寥數語講清楚的算法:連續的幾何精煉。

智能與表征

訪談的最后落到了一個更宏大的問題:這一切發展對通用人工智能意味著什么。Jumper 的態度一如既往地克制。


(來源:Youtube)

他認為,以顯式方式去設定“表征”的重要性,已經遠不如五年前人們以為的那樣了。AlphaFold 就是證據。代碼強制它做的,它固然會做;但它許多驚艷之舉,并非出自代碼的強制規定。為了把數據預測得足夠準,它必須自己去尋找優質的中間表征。

機器學習曾長期沉迷于一種誘惑:既然我知道最終一定需要某個概念,就在網絡里專設一個單元去命名它、強制中間層生成解耦表征。但后來人們發現,許多曾被認為“智能”必不可少的要素,僅僅在模型精準預測下一個 token 的過程中,就自然涌現了。

用 Jumper 的話說:它們涌現,不是因為你在預測下一個 token,而是因為你把預測下一個 token 這件事做到了極致。

代價是 Scaling Law 里那條大家最不喜歡的對數線性關系,往往要投入指數級的算力和數據,才能換來能力的線性提升。

Jumper 這樣理解當下未解的核心問題:我們的確獲得了這些概念和表征,但如何才能用更低的成本獲得它們?今天我們能用軟件腳手架給模型外掛記憶、不斷提醒智能體當下的目標,來修補它的固有缺陷;可我們還不知道,如何把這些外部能力無縫“蒸餾”回神經網絡內部,讓它本身具備不再依賴外掛的本領。

這大概是 AlphaFold 這個故事最有意思的地方。一個剛剛為人類破解了半個世紀難題并因此封神的系統;它的締造者卻始終拒絕把它供上神壇——等變性沒那么神,擴散模型沒那么神,“理解”這件事本身也遠沒有被解決。Jumper 在乎的始終是那些不起眼的笨功夫,以及從預測到控制、再到人類自己去構建理解的那段距離。

https://www.youtube.com/watch?v=e3gBwLWAerw

運營/排版:何晨龍

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
Siegel:梅爾頓擁有340萬球員選項 預計他不會回歸勇士

Siegel:梅爾頓擁有340萬球員選項 預計他不會回歸勇士

北青網-北京青年報
2026-06-27 13:04:02
北京普通人的存款天花板

北京普通人的存款天花板

微微熱評
2026-06-26 08:40:09
正常男人吃一顆偉哥是什么體驗?網友們的分享讓人臉紅心跳加快!

正常男人吃一顆偉哥是什么體驗?網友們的分享讓人臉紅心跳加快!

黯泉
2026-06-25 12:10:30
32強已定26席!德國法國開啟地獄模式,阿根廷直通四強?

32強已定26席!德國法國開啟地獄模式,阿根廷直通四強?

全景體育V
2026-06-27 11:16:18
板倉滉談戰巴西:如果我們拿下這場勝利,全日本都會為之沸騰

板倉滉談戰巴西:如果我們拿下這場勝利,全日本都會為之沸騰

懂球帝
2026-06-27 08:15:05
被爆冷絕非偶然!曝FIFA第16內訌 皇馬球星帶頭開炮 名帥暴怒回擊

被爆冷絕非偶然!曝FIFA第16內訌 皇馬球星帶頭開炮 名帥暴怒回擊

狍子歪解體壇
2026-06-27 00:02:24
已婚女子和男上司在辦公室曖昧,17分鐘小視頻傳出,如今怎樣了

已婚女子和男上司在辦公室曖昧,17分鐘小視頻傳出,如今怎樣了

丫頭舫
2026-06-26 11:29:17
超市月薪才2800元,為啥卻幾乎沒人辭職?內部員工:傻子才會走

超市月薪才2800元,為啥卻幾乎沒人辭職?內部員工:傻子才會走

平說財經
2026-06-24 01:51:50
我國首條民營控股高鐵累計客流突破1億人次

我國首條民營控股高鐵累計客流突破1億人次

澎湃新聞
2026-06-27 12:31:04
因內存短缺,iPhone 18 將首次使用 9GB 運行內存!

因內存短缺,iPhone 18 將首次使用 9GB 運行內存!

XCiOS俱樂部
2026-06-27 09:30:20
日特務偷稀土被中國當場抓住!日網友氣瘋:派特種部隊去中國搶人

日特務偷稀土被中國當場抓住!日網友氣瘋:派特種部隊去中國搶人

聞識
2026-06-26 16:12:25
騎士勇士馬刺,詹姆斯三大熱門下家出爐,已經不包含湖人

騎士勇士馬刺,詹姆斯三大熱門下家出爐,已經不包含湖人

姜大叔侃球
2026-06-27 13:47:38
“走個面” 再升級,韓紅回應渾身發抖,同行藝人內涵暗諷晚節不

“走個面” 再升級,韓紅回應渾身發抖,同行藝人內涵暗諷晚節不

老鵜愛說事
2026-06-27 11:20:44
白玉蘭紅毯站位學問太深!胡歌小跑著讓C位,肖戰主動靠近黃覺

白玉蘭紅毯站位學問太深!胡歌小跑著讓C位,肖戰主動靠近黃覺

萌神木木
2026-06-26 19:50:26
嚴重違紀違法!斗門區水務局原黨組書記、局長何嘯逸被雙開

嚴重違紀違法!斗門區水務局原黨組書記、局長何嘯逸被雙開

南方都市報
2026-06-27 12:50:09
國務院任免國家工作人員

國務院任免國家工作人員

新華社
2026-06-26 19:01:04
馬卡:尼科-威廉斯很可能因肌肉傷勢缺席世界杯剩余比賽

馬卡:尼科-威廉斯很可能因肌肉傷勢缺席世界杯剩余比賽

懂球帝
2026-06-27 12:08:50
Haynes:鵜鶘預計拒絕執行魯尼價值800萬美元的球隊選項

Haynes:鵜鶘預計拒絕執行魯尼價值800萬美元的球隊選項

北青網-北京青年報
2026-06-27 12:56:05
中央開始嚴查,多地機關事業單位大整頓啟動,這幾類人受影響最大

中央開始嚴查,多地機關事業單位大整頓啟動,這幾類人受影響最大

細說職場
2026-06-26 16:37:37
女子與七旬大爺交往,發生關系次日留下8月大男嬰離開,大爺為泄憤多次毆打嬰兒致死,一審獲刑12年

女子與七旬大爺交往,發生關系次日留下8月大男嬰離開,大爺為泄憤多次毆打嬰兒致死,一審獲刑12年

揚子晚報
2026-06-27 14:40:40
2026-06-27 15:08:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技評論獨家合作
16888文章數 515056關注度
往期回顧 全部

科技要聞

GPT-5.6發布,你暫時用不了!Mythos也放行

頭條要聞

美國專家:亞洲秩序正在轉變 中國統一可能"不戰而勝"

頭條要聞

美國專家:亞洲秩序正在轉變 中國統一可能"不戰而勝"

體育要聞

世界杯最火門將,站到了阿根廷和梅西面前

娛樂要聞

四提白玉蘭終封后,楊紫:仍覺不真實

財經要聞

OpenAI推遲IPO重創軟銀!

汽車要聞

11.99萬起 捷途自由者7 PLUS/山海T1四驅版上市

態度原創

時尚
教育
本地
健康
手機

乙女游戲新人設,竟然是195年下體育生?!

教育要聞

第39課-在國外不懂預定服務,要睡大街?

本地新聞

世界杯球迷節:比球賽更好玩的派對

“無糖湯圓”是否隱藏著健康陷阱?

手機要聞

消息稱某廠新機搭載6.59英寸中屏、驍龍8系處理器

無障礙瀏覽 進入關懷版