上周,Meta發(fā)布了一項(xiàng)研究:讓人戴著頭盔打字,AI從腦電波里還原出你打的是什么句子,全程不需要任何手術(shù),平均準(zhǔn)確率61%,最好的參與者達(dá)到78%。
這次發(fā)布的是 Brain2Qwerty 的第二個版本(v2)。Brain2Qwerty 是 Meta FAIR 實(shí)驗(yàn)室開發(fā)的腦信號解碼模型,名字顧名思義:從大腦到鍵盤。去年 v1 掛出預(yù)印本時已經(jīng)引起過一波關(guān)注,現(xiàn)在剛被 Nature Neuroscience 正式接收,v2 緊跟著發(fā)布,且往前邁了一大步。
這個數(shù)字,是過去三十年非侵入式腦機(jī)接口最好成績的將近8倍。
為什么這件事值得關(guān)注?因?yàn)榫驮诮衲辏袊鴦倓偱鷾?zhǔn)了全球第一款侵入式腦機(jī)接口醫(yī)療器械上市,腦機(jī)接口也被寫進(jìn)了醫(yī)保價格目錄。這個領(lǐng)域在中國正一步步落地。而Meta這項(xiàng)研究,讓“不開顱”這條路頭一回顯得靠譜了。
(論文地址:https://ai.meta.com/research/publications/accurate-decoding-of-natural-sentences-from-non-invasive-brain-recordings/ )
不開顱,為什么一直沒跑通
要理解這次突破的意義,得先了解腦機(jī)接口領(lǐng)域一直分兩條路在走。
侵入式方案,效果好,但代價是開顱手術(shù)、感染風(fēng)險、以及植入設(shè)備可能在數(shù)年后衰減失效。Neuralink的芯片需要機(jī)器人手術(shù)植入,已幫助幾位ALS(漸凍癥,運(yùn)動神經(jīng)元病的一種,患者逐漸喪失運(yùn)動能力)患者恢復(fù)打字能力,部分患者打字速度已超過每分鐘40詞,最新一代設(shè)備更高。
今年3月,中國博睿康與清華大學(xué)聯(lián)合研發(fā)的產(chǎn)品拿到全球第一張侵入式腦機(jī)接口醫(yī)療器械證,32例臨床試驗(yàn)中,脊髓損傷患者通過意念控制氣動手套完成抓握,主要臨床終點(diǎn)達(dá)標(biāo)率100%。
但愿意接受手術(shù)的患者,始終是少數(shù)。
那些不想開顱的人,長期只有一個替代方案:戴個EEG(腦電圖)頭盔。它通過貼在頭皮上的電極采集腦電信號,便宜、無創(chuàng),幾百塊能買到消費(fèi)級產(chǎn)品。問題是顱骨會把電信號散射得面目全非,就像隔著磨砂玻璃看燈。三十年來,EEG方案解碼單詞的準(zhǔn)確率,長期卡在8%左右(針對大詞匯表連續(xù)句子解碼的基線數(shù)字)。100個詞,猜對8個。
8%這個數(shù)字,沒有任何實(shí)用價值。
Meta FAIR實(shí)驗(yàn)室的做法,是換掉信號源。
![]()
去年的 v1 版還需要把腦信號按每個按鍵切成小窗口再拼起來解碼,v2 的關(guān)鍵升級在于,不再切窗口了:一個連續(xù) MEG 信號直接出整句話,全程異步。這一步讓“接近實(shí)時解碼”這件事從不可能變成了可能。
他們用的是MEG(腦磁圖),一種檢測神經(jīng)元放電時產(chǎn)生的微弱磁場的設(shè)備。顱骨對磁場幾乎是透明的,MEG拿到的信號比EEG清晰得多。代價是設(shè)備龐大:一臺傳統(tǒng)MEG掃描儀造價兩三百萬美元,必須放在磁屏蔽室里,體積和核磁共振機(jī)器差不多。
實(shí)驗(yàn)設(shè)置并不復(fù)雜,9名健康志愿者,每人戴上有306個傳感器的MEG頭盔連續(xù)打字,每人約10小時,總計(jì)約22,000個句子。打字時系統(tǒng)同步記錄大腦運(yùn)動皮層產(chǎn)生的信號,之后AI從這些信號里還原出他們打的是什么。
平均單詞準(zhǔn)確率61%(即單詞錯誤率WER為39%),最好的參與者78%(WER 22%),其中47%的句子只差一個詞以內(nèi)。對比之前非侵入式方案最好成績8%,當(dāng)前最好的侵入式方案WER約2%。
實(shí)驗(yàn)可信嗎?
實(shí)驗(yàn)樣本有9個人,而且全是健康志愿者,沒有一個腦損傷患者。腦損傷后神經(jīng)皮層會發(fā)生功能重組,健康大腦上訓(xùn)練出來的解碼器能否直接用在患者身上,目前完全未知。Meta官方也沒有回避這一點(diǎn),他們在博客中明確寫道:這是研究,不是產(chǎn)品。
一是論文展示的縮放曲線。從1小時訓(xùn)練數(shù)據(jù)到10小時,字符錯誤率(CER,衡量字符級別解碼準(zhǔn)確度的指標(biāo))從約0.5持續(xù)下降到約0.25,全程沒有出現(xiàn)平臺期。這里變好的是模型:數(shù)據(jù)越多,AI學(xué)到的腦電規(guī)律越準(zhǔn)確,解碼能力越強(qiáng),跟參與者熟不熟悉設(shè)備無關(guān)。這意味著繼續(xù)收集數(shù)據(jù),準(zhǔn)確率還會繼續(xù)漲,而且漲得有規(guī)律可循。
二是傳感器消融實(shí)驗(yàn)。論文測試了只用150個傳感器代替306個時,準(zhǔn)確率損失多少:WER只上升5.7個百分點(diǎn)。這個數(shù)字很關(guān)鍵,因?yàn)橄乱淮纱┐鱋PM-MEG(光泵磁力儀腦磁圖,一種不需要液氦冷卻、傳感器可以直接戴在頭上的新型設(shè)備)傳感器數(shù)量會更少,這個實(shí)驗(yàn)說明“傳感器減半,性能不會崩”,為未來更便攜的方案留了口。
不過值得事先知道的背景是,實(shí)驗(yàn)在西班牙巴斯克認(rèn)知、大腦與語言中心完成,參與者都是西班牙母語者,打的也是西班牙語句子。也就是說,這套方法至少在西班牙語上跑通了。中文能不能用、怎么用,目前完全沒人試過。
為什么這次的準(zhǔn)確率能跳起來?![]()
Brain2Qwerty v2 的架構(gòu)分三層:底層 Conformer 編碼器(一種擅長處理時序信號的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu))直接從原始 MEG 信號端到端學(xué)習(xí),不再依賴手工設(shè)計(jì)的特征提取流程;中層做詞對齊;頂層是微調(diào)過的 Qwen3-4B 大語言模型(LLM,即大型語言模型),負(fù)責(zé)從充滿噪聲的詞序列里重建完整句子。
這里“微調(diào)”在于,Meta 用的是 LoRA(低秩適配)方法,rank 只有 2。這意味著他們只動了 Qwen3-4B 里極少幾個參數(shù),就讓一個通用大模型學(xué)會了讀腦電波。反過來說明,LLM 內(nèi)部已經(jīng)積累的語義能力,對理解“噪聲很大但勉強(qiáng)可辨”的腦信號可能比我們預(yù)想的更有用。
![]()
免費(fèi)的代碼,和一道人接的題
最后這一層是關(guān)鍵。MEG 信號噪聲很大,字符級解碼一定會出錯。LLM 的作用,是用語義上下文做糾錯,就像你在嘈雜環(huán)境里聽人說話,單個字沒聽清,但靠前后句意能猜出整句話。消融實(shí)驗(yàn)顯示,去掉這一層,準(zhǔn)確率顯著下降。
這三層也不是一口氣訓(xùn)完的。論文采用了漸進(jìn)式訓(xùn)練策略:前 150 輪只練字符識別,150 輪后加入詞級別的對比學(xué)習(xí)讓模型學(xué)會對齊詞向量,225 輪后才引入 LLM:先認(rèn)字、再組詞、最后造句,跟人學(xué)語言的路數(shù)差不多。
論文里還藏了一個不太起眼但意味深長的細(xì)節(jié)。Meta 團(tuán)隊(duì)在開發(fā)這套系統(tǒng)時,部署了 AI Agent 去探索解碼管線的各種優(yōu)化方向:自動生成和測試不同的訓(xùn)練配置、試探不同的超參數(shù)組合,最后由人類工程師從中挑選最佳方案。
換句話說,這不僅是“用 AI 解碼腦信號”,更是“用 AI 幫人類寫出解碼腦信號的 AI”。這種方法論上的突破,可能比 v2 的具體數(shù)值更值得留意。它意味著腦機(jī)接口的研究方式本身,也在被 AI 重塑。
Meta同時開源了完整訓(xùn)練代碼,協(xié)議CC BY-NC 4.0:非商業(yè)用途免費(fèi),商業(yè)用途要單獨(dú)談授權(quán)。
這個動作和Meta推Llama的邏輯一樣:開源換生態(tài),讓全球研究者都用同一套工具鏈,從而定義行業(yè)基礎(chǔ)設(shè)施標(biāo)準(zhǔn)。商業(yè)價值鎖在"非商業(yè)"那道門后面。任何想把這套系統(tǒng)推向臨床的機(jī)構(gòu),都要經(jīng)過Meta。
Meta自己不會去做醫(yī)療器械,不做臨床,不爭手術(shù)室。它走的是另一條路:在“非侵入解碼算法”這一層做工具提供商,誰想在這條賽道上造產(chǎn)品,最終要么用它的工具鏈,要么自己重新發(fā)明輪子。
回到中國。
今年3月博睿康拿證,階梯醫(yī)療同日宣布完成5億元戰(zhàn)略融資(阿里領(lǐng)投、騰訊跟投),格式塔科技天使輪1.5億刷新紀(jì)錄。這些錢,幾乎全部押在侵入式路線上。侵入式的邏輯很清晰:信號質(zhì)量高、臨床效果確定、監(jiān)管路徑已經(jīng)跑通了一次。
國家醫(yī)保局去年已為腦機(jī)接口單獨(dú)立項(xiàng),設(shè)立了“侵入式腦機(jī)接口置入費(fèi)”和“非侵入式腦機(jī)接口適配費(fèi)”兩個價格項(xiàng)目,廣東率先落地,非侵入適配費(fèi)定價約960元。腦機(jī)接口這件事,在中國已經(jīng)走出了實(shí)驗(yàn)室。
Brain2Qwerty v2的出現(xiàn),并不是說侵入式方向走錯了。而是非侵入的天花板,不再是“沒用”,而是“還不夠好、但在快速變好”。
當(dāng)前最大的空白是代碼開源了,但沒有接球手。Meta FAIR是研究機(jī)構(gòu),不做臨床試驗(yàn)。誰來用這套工具鏈在真實(shí)患者身上跑出第一批數(shù)據(jù),決定了這條路能走多快。中國有MEG設(shè)備的神經(jīng)科學(xué)實(shí)驗(yàn)室并不少。這是個實(shí)打?qū)嵉臋C(jī)會。
尾聲
腦機(jī)接口已經(jīng)不是十年后的事。
全球第一張侵入式醫(yī)療器械證發(fā)到了中國企業(yè)手里,醫(yī)保價格目錄里已經(jīng)有了這一行,政府工作報告把它和量子科技、6G并列。
Meta這項(xiàng)研究提出的問題很簡單:這件事,非要在頭上開個洞嗎?
答案還沒有。但不開顱這件事,不再像個笑話了。
(本文首發(fā)鈦媒體APP,作者|硅谷Tech_news,編輯|林深)
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.