![]()
在嘈雜的雞尾酒會上,我們總能從交織的人聲中精準(zhǔn)捕捉到好友的低語。這種大腦與生俱來的選擇性聽力,被科學(xué)界稱為“雞尾酒會效應(yīng)”,是人類聽覺系統(tǒng)最神奇的能力之一。
然而,對于機器而言,從混雜聲音中分離并識別單一聲源非常困難,這就是“雞尾酒會問題”。比如傳統(tǒng)的助聽器只會無差別放大所有聲音,雜音與對話同步放大,導(dǎo)致用戶在復(fù)雜環(huán)境下依然聽不清、聽得累。
近日,來自哥倫比亞大學(xué)、加州大學(xué)舊金山分校等機構(gòu)的聯(lián)合團隊,成功研發(fā)了一套實時閉環(huán)腦控聽力系統(tǒng),直接通過解碼大腦注意力信號,實時放大目標(biāo)人聲、壓制雜音,讓人在嘈雜環(huán)境中想聽誰就聽清誰,徹底打破傳統(tǒng)助聽器的技術(shù)瓶頸。研究成果發(fā)表于 Nature Neuroscience 期刊。
通訊作者尼瑪·梅斯加拉尼(Nima Mesgarani)長期致力于解析人類大腦處理復(fù)雜聲音環(huán)境的神經(jīng)機制,其研究的核心貢獻(xiàn)在于揭示了大腦如何在“雞尾酒會”場景下有選擇性地重構(gòu)目標(biāo)談話者的聲譜特征。
他此前的研究不僅證實了聽覺皮層會為關(guān)注的聲音產(chǎn)生獨特的“標(biāo)簽”,還開發(fā)了一系列先進(jìn)的語音分離算法和刺激重建模型,奠定了從微弱神經(jīng)活動中還原清晰語音波形的理論基石。
![]()
(來源:上述論文)
聽力障礙是全球最常見的感官缺陷之一,世界衛(wèi)生組織數(shù)據(jù)顯示,全球超 4.3 億人存在不同程度的聽力損失。
傳統(tǒng)助聽器的核心邏輯很簡單:麥克風(fēng)收集所有聲音并統(tǒng)一放大,然后再傳入耳朵。這種放大模式忽略了人類聽覺的核心需求,選擇性關(guān)注。大腦天生會篩選聲音:你關(guān)注的人說話,大腦會強化其神經(jīng)信號;無關(guān)雜音,大腦會自動抑制。但傳統(tǒng)助聽器把目標(biāo)對話、旁人閑聊、餐具碰撞、環(huán)境噪音全部放大,原本微弱的目標(biāo)聲音被雜音淹沒,用戶只能費力分辨,久而久之產(chǎn)生聽覺疲勞、焦慮,甚至放棄佩戴。
多年來,科學(xué)家一直嘗試破解這一難題:能否讓助聽器像大腦一樣,只放大用戶想聽的聲音,自動過濾雜音?
早在 20 世紀(jì) 50 年代,科學(xué)家就發(fā)現(xiàn) “雞尾酒會效應(yīng)” 背后的神經(jīng)機制:人類聽覺皮層會對關(guān)注的聲音產(chǎn)生獨特的神經(jīng)信號,就像給目標(biāo)聲音打上專屬標(biāo)簽。基于這一發(fā)現(xiàn),“聽覺注意力解碼(AAD)” 技術(shù)應(yīng)運而生:通過分析人腦的電生理信號(如腦電圖 EEG)來識別用戶當(dāng)前正關(guān)注哪個說話者或聲音源。
在運作流程上,系統(tǒng)首先通過高分辨率電極,從患者大腦皮層實時采集低頻與高頻信號,這兩者共同構(gòu)成了捕捉注意力特征的高清數(shù)據(jù)源;隨后,利用線性回歸模型,根據(jù)這些大腦信號還原出患者正在關(guān)注的那段聲音的波形。
判定階段,系統(tǒng)會將這段由大腦信號復(fù)刻出的波形,與環(huán)境中捕獲的多個競爭音源進(jìn)行相關(guān)性比對,相關(guān)性數(shù)值最高的音源即被判定為當(dāng)前的注意力焦點;最終,系統(tǒng)自動將目標(biāo)音源的音量提升最高 9 分貝,同時壓低另一方。為了讓音量過渡自然,團隊還引入了馬爾可夫模型進(jìn)行平滑處理,避免音量突變帶來的不適感 。
為了驗證這套系統(tǒng)是否好用,研究人員招募了 4 名癲癇患者進(jìn)行了三項測試。這類患者因治療需要,顱內(nèi)已植入高精度電極,直接貼合大腦聽覺皮層,能采集到最清晰、最精準(zhǔn)的神經(jīng)信號。所有患者自述聽力正常,確保實驗不受原有聽力障礙干擾。
第一項測試,模擬嘈雜環(huán)境下的基礎(chǔ)聆聽場景。患者同時聽兩段對話,系統(tǒng)在中途開啟。結(jié)果顯示,系統(tǒng)開啟后,患者對目標(biāo)語音的理解準(zhǔn)確率顯著提升,信噪比平均改善了 12 分貝。高達(dá) 75% 到 95% 的試次中,患者明確表示更喜歡系統(tǒng)開啟后的聽覺體驗。
更重要的是,生理指標(biāo)也給出了證據(jù),患者的瞳孔擴張程度顯著降低。在神經(jīng)科學(xué)中,瞳孔變小意味著大腦不需要費那么大勁去處理信息,這證明系統(tǒng)確實讓聽力變得更省勁。
![]()
(來源:上述論文)
第二項測試,驗證注意力切換靈敏度。現(xiàn)實中,我們會隨時切換談話對象。實驗中,當(dāng)患者收到指令把注意力從左側(cè)發(fā)言者轉(zhuǎn)到右側(cè)時,系統(tǒng)表現(xiàn)出了極高的靈敏度。系統(tǒng)能在平均 5.1 秒內(nèi)識別出這種轉(zhuǎn)變,并自動切換放大對象。
第三項測試,模擬最真實的自主聆聽場景。不給任何外部指令,讓患者隨心所欲切換關(guān)注對象。即便如此,系統(tǒng)依然能穩(wěn)定捕捉這種自發(fā)的注意力轉(zhuǎn)移,精準(zhǔn)放大目標(biāo)聲音,完美適配真實多變的生活場景。
有人會好奇:為什么不直接給助聽器裝攝像頭,靠眼神追蹤判斷關(guān)注對象?研究團隊明確指出,腦控聽力比眼神追蹤靠譜太多。
一方面,當(dāng)兩個說話人距離很近,或是聽廣播、公開演講時,眼神根本沒法區(qū)分目標(biāo);另一方面,人常出現(xiàn)“眼神看 A、耳朵聽 B”的情況,比如開會時盯著同事,其實在聽鄰座聊天,眼神根本不能真實反映聽覺注意力;更重要的是,靠眼神、轉(zhuǎn)頭判斷,長時間下來會非常疲勞,而腦波解碼是全自動、無感的,全程不用任何額外動作。
此外,研究團隊還進(jìn)行了一項極具人文關(guān)懷的額外測試:他們邀請了 40 名真實的聽障患者,讓他們聽這套系統(tǒng)處理后的音頻。結(jié)果顯示,相比于聽力正常者,聽障人群從這套系統(tǒng)中獲得的理解力提升更為巨大。這證明了該技術(shù)不僅在實驗室里有效,在臨床應(yīng)用上也具備巨大的應(yīng)用潛力。
1.Choudhari, V., Nentwich, M., Johnson, S. et al. Real-time brain-controlled selective hearing enhances speech perception in multi-talker environments. Nat Neurosci (2026). https://doi.org/10.1038/s41593-026-02281-5
運營/排版:何晨龍
注:封面/首圖由 AI 輔助生成
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.