![]()
本文將要展現(xiàn)的這一研究,已被同行公眾號推廣過。筆者作為這一工作的打醬油作者,希望從一個完全不同的視角去展現(xiàn)自己的心得體會。如果讀者對此不覺得厭煩,不妨讀一讀這篇筆記,并非是完全無用的。謹致謝忱!
1.引子
筆者有一群親密的合作伙伴。他們才華橫溢、勤奮努力,也領引著Ising學習新知識,使其不至于落后“量子材料”研究前沿太多。其中一位,是華南師范大學先進材料研究所IAM的樊貞教授。這個瘦削而精干的小伙子,是新加坡NUS王家功和IMRE姚奎兩位老師培養(yǎng)出來的鐵電后起之秀。原本他從事的是正統(tǒng)而經(jīng)典的鐵電物理與材料研究,但數(shù)年前加入IAM團隊后,他就甩開那些傳統(tǒng)方向,開始干一些在Ising聽起來莫名其妙的新鮮事,雖然現(xiàn)在看來也不再新鮮。Ising經(jīng)常沽名釣譽一般聲稱參與了一些人工智能(artificial intelligence, AI)、類腦計算(neuromorphic computing)的研究,很大程度上是因為這個樊貞老師的引領。
之所以說莫名其妙,乃是因為在人類的印象中,人腦是最高級的“器件”與“架構(gòu)”。這里帶引號是因為,在人類正常(對不對再另說)的認知中,似乎沒有詞語足以形容大腦的NB了!對大腦內(nèi)部的學習、記憶、響應和思維運算過程的描繪,應該是人類知識中最高等級的學問,想想都不大可能會被一些簡單如類腦計算的“玩意”所仿真和重現(xiàn)。過去一些年,筆者參與樊貞他們關于鐵電類腦材料和器件的一些研討,漸漸發(fā)現(xiàn)他們在做的、追蹤的,竟然是一些隨時間不斷變化、很不確定、漲落很大的動態(tài)過程。一個材料的某種性質(zhì),竟然在服役過程中是不斷變化的,而我們還要說這是好材料、NB類腦!這種認知,過于藐視像筆者這種在材料和物理研究中摸爬滾打數(shù)十年的老人(資深者)。特別是,那些在物理人看來很糟糕、不可靠的數(shù)據(jù)曲線,竟然被認為是正確標記了人類大腦可能的運算過程,令人感覺不安、不踏實。
舉個不恰當?shù)睦樱何覀兠磕陞⒓芋w檢,都做心電圖、腦電波檢測,對吧?即便如人體這般復雜,但那些輸出的曲線卻很光滑、很有規(guī)律:伴隨心臟跳動,曲線一顫一抖的,很有律動與質(zhì)感!現(xiàn)在,樊貞他們說,人的大腦進行感覺、識別、推演和存儲運算的過程,是一些很不確定、漲落很大的過程。這免不得會讓我們?nèi)ァ百|(zhì)疑”那些心電圖數(shù)據(jù)是假的、是被“光滑”過的?
更讓Ising很早就確信不疑的認知是:人的大腦,還是最精密、最豐富和最確定的物理系統(tǒng)!人腦之高度,必定是那樣一種高度,以至于人類數(shù)百年來發(fā)展的科技所制造的一切技術(shù)產(chǎn)品,只能望洋興嘆/ 難以企及。事實上,隨便翻閱一本人類大腦的書籍,就能建立這種認知,如圖1 所示。然而,通過后來的慢慢學習,筆者發(fā)現(xiàn)樊貞他們可能是對的!人腦,也許真的沒有那么神奇和萬能。假以時日,在人工智能AI的加持下,從事類腦計算研究的人們,在硬件上加強突破、在軟件上合縱連橫,說不定還真的能夠觸摸到人類大腦的邊界。
本文的主要動機,就是反省回顧一下筆者對類腦研究偏材料一側(cè)的認知漸進過程,以就教于讀者和這個領域的學者們。
![]()
圖 1. 人類對大腦分區(qū)和各個區(qū)域的功能劃分認知。
可以看到,如果這些認知所述是真實存在的,人類若要去“類腦”人腦,可能還真是一件富有挑戰(zhàn)的工程。本文要觸及的視覺計算區(qū)域,用紅色和對應的紅框加注:那個所謂的“occipital lobe枕葉”區(qū)域,在筆者Ising的認知中基本是一片空白。可以胡亂聯(lián)想是:那個叫“枕葉”的部位,是晚上睡眠時接觸枕頭的區(qū)域。枕葉處于那個部位,難道是為了使得視覺功能得到最好的休息?
From A. R. Singh et al, In: Brain, Mind and Consciousness: An International, Interdisciplinary Perspective (A.R. Singh and S.A. Singh eds.), MSM, 9(1), p6-41 (2011).
2.人腦之我見
首先,在蕓蕓眾生的感性認知中,人腦是怎么個工作和運行的呢?人工智能和類腦計算的人們早就和生物學家及醫(yī)生們一起,建立了大腦信息記憶與存儲處理的學問。筆者沒時間去認真學習,亦或是偶爾去學了、但學不會那些高深的學問和知識框架。作為大外行,筆者這里不妨梳理一些自己淺薄的認知,分享給讀者,看看這梳理是否合理:
(1) 相信很多讀者,包括筆者,原來一直沒有去細想:人腦不是足夠強大么?人腦里那么多突觸、那么多神經(jīng)元,構(gòu)成那么多存儲器,是那么聰穎智慧,再加上胸懷那么多理想、情懷(胸中自然不能懷,就是腦懷),亦背負那么多真善美/ 假丑惡,為何人類學習和記憶卻需要借助“聽、說、讀、寫”?嗯,現(xiàn)在反省之下有點明白:因為人腦從來就無法永久存儲“信息和數(shù)據(jù)”。人腦用一用、動一動、記憶一下下、思考一會兒,如果不重復學習,就會丟失這些信息,即“忘記”,也就是這些信息數(shù)據(jù)很快衰滅。注意,這里的“很快”,是一個感性詞語,沒有科學上明確的意義。正因為如此,人類才在身軀演化的千時萬刻之間,形成了一整套學習、記憶、復習的輔助方法,即“聽、說、讀、寫”成可以長久保存的、以供archived和翻閱的書本知識!人類剩下的,就那點本事了:大腦一忘卻,就去翻書本!
(2) 有讀者對此可能不完全同意。事實上,人類除非個別人,幾乎所有人都永久記得自己的父母是誰、子女在哪里、祖國是何方。現(xiàn)在對此問題的認知是,此乃人類大腦的另一類過程所致:長期不斷反復的訓練,導致體系走向一個長壽命、穩(wěn)態(tài)甚至基態(tài)的記憶!對此,人類大腦那一塊存儲著“父母”、“兒女”和“祖國”的區(qū)域,是記憶的基態(tài)區(qū)域!這也預示著,人腦中能夠形成如基態(tài)一般永久記憶的結(jié)構(gòu)或單元并非沒有,只是不多。只有那些最重要的信息 (即被反復訓練的信息),才會被存儲到這些基態(tài)中。絕大部分即時的、不重要的或書本上已經(jīng)有牢實記載的信息,都會在大腦中很快消退。
(3) 現(xiàn)在,人類對人工智能AI佩服得五體投地。Ising小人小度量,以為個種原因是:基于人工智能大模型的類腦學習運算,太快太厲害了,特別是對知識的整理和分析更是讓AI驚為天人!這里,AI架構(gòu),無非是一臺基于超高能耗的學習分析推理機器。為了追逐速度,AI架構(gòu)不惜耗費大量能量和計算推理功夫,以至于許多AI和大數(shù)據(jù)公司不得不在水電資源極為豐富的貴州和煤炭資源極為豐富的內(nèi)蒙烏蘭察布建造數(shù)據(jù)存儲中心,以應對巨大的計算供能和環(huán)境制冷需求。而人腦的運算分析,則追逐高效、粗糙化(coarse-grained),并不完全是當下AI大模型那種全覆蓋方式。反過來說,大腦處理和運算,其實很可能崇尚“機會主義”做派:為了節(jié)省能耗和精力,大部分都是“臨時抱佛腳”式的處理。如此,人類才對AI大模型這么佩服和唧唧稱贊。既然AI如此耗電,所得有些神奇之處,并不奇怪。而人類追求的,則是一份汗水、一份收獲,有一點吃虧都不大愿意!
(4) 事實上,人腦運算可能還有一項卓越功能。在人類發(fā)明創(chuàng)造的物理計算中,存在所謂“存儲墻”、“功耗墻”、“頻率墻”等很多walls,外加外部傳感設備與計算中心之間的數(shù)據(jù)傳輸瓶頸。而這些所謂walls和瓶頸,在人腦運行中似乎不存在,或者不那么顯性地存在,雖然圖 1 也煞有其事地對人腦進行分區(qū)。這些功能區(qū),被認為大致上是一體化的,啟示類腦計算似乎也需要破除這些“墻”,以打通“任督二脈”^_^。
(5) 除此之外,人的大腦,還永不停息地與自己的同類(人類)、與物質(zhì)世界的方方面面、與夢鄉(xiāng)的時光反演隧道等,進行交流和學習。這也是大腦具有極高運行效率的一部分,從而不斷促進大腦結(jié)構(gòu)的重塑和梳理,并以特定的形態(tài)構(gòu)成最優(yōu)化的人性與行為特征。
(6) 最后,提及一下筆者深有感受的“年少記憶牢實,老來總是健忘”。筆者年輕時,記憶力不算超群,但屬于還不錯的那一類。而今,記憶力不算沒有,但很糟糕。那些經(jīng)過長時間訓練到達的記憶狀態(tài),它們夯實而穩(wěn)定,顯示我們對兒時的時光記憶猶新、張口就來!但是,最近時日的朝夕乾坤,就很容易大面積地被忘記。這也是一個動態(tài)的物理結(jié)構(gòu)演化到最后的結(jié)果:自由度少了、維度少了、遍歷性差了,整個體系進入到一種接近基態(tài)的亞穩(wěn)態(tài)那里。在那里,動力學慢、效率低、“溫度低”,最終的穩(wěn)態(tài)可能就是大腦癡呆態(tài)?!筆者還有一種相關的感受,并用歪理來加以解釋:年少時,風雪之下大汗淋漓亦無妨;年老時,陽光普照之下亦要戴個帽子保個暖和。為什么呢?這是為了維持大腦足夠的“溫度”環(huán)境,維持動力學活躍度,不至于很快就進入凍結(jié)基態(tài)?!
如上六條描述,讓人類大腦運行的簡單特征有了一個模糊圖畫,也讓類腦計算運行有了可比擬參照的對象。既然人類的大腦在處理信息、進行推理計算方面如此這般,類腦物理的研究就有了起點。當然,Ising在此說類腦,是真正的班門弄斧。恭請各位魯班們,不必過于較真筆者的筆下胡謅!
筆者說自己在胡謅,是有根據(jù)的。筆者瀏覽過北京大學黃如和楊玉超老師團隊在《半導體學報》上發(fā)表的一篇短評“Embracing the era of neuromorphic computing”[Y. H. Wang et al, J. Semicond., 42, 010301 (2021); http://doi.org/10.1088/1674-4926/42/1/010301],其中插圖被引用在圖2(A)中。可以看到,電子科學與計算機科學的人們,一步就將圖1的人腦變成了如現(xiàn)代計算機硬件架構(gòu)一般的類腦^_^!與此對應,從事腦科學研究的醫(yī)生和生物學家們,則積極接駁這一高度交叉學科,推動類腦科技的發(fā)展,如圖2(B)所示[Y. Qi et al, Neuromorphic computing facilitates deep brain-machine fusion for high-performance neuroprosthesis. Front. Neurosci. 17, 1153985 (2023); https://doi.org/10.3389/fnins.2023.1153985]。也就是說,圖2所示的風景,才是當下類腦計算的現(xiàn)狀與未來風景。
反過來,筆者也看過中國科技大學袁嵐峰教授(科技傳播系)訪談復旦大學馮建峰教授(大數(shù)據(jù)學院院長)的一個視頻。其中,馮老師提到:類腦運行計算,實際上是一種(準)連續(xù)的模擬信號(據(jù)筆者所知,似乎不是模擬信號),而非人腦神經(jīng)中的電脈沖刺激。而且,人腦中的神經(jīng)元功能,可能是無序的、似乎不是類腦計算中那一個一個的狀態(tài)開關。因此,當下的類腦計算,與真實的人腦運算,可能還不是“一回事”。
![]()
圖 2. 神經(jīng)形態(tài)類腦計算的架構(gòu)。
(A) 類腦計算的可能計算路線圖。(B) 類腦計算促進深度腦機融合。
(A) from Y. H. Wang et al, J. Semicond., 42, 010301 (2021); http://doi.org/10.1088/1674-4926/42/1/010301。(B) from Y. Qi et al, Front. Neurosci. 17, 1153985 (2023); https://doi.org/10.3389/fnins.2023.1153985。
3.視覺類腦之感存算
這個不是“一回事”,可是麻煩事!讀者不妨暫時放下麻煩問題,繼續(xù)跟筆者天馬行空、上下閑逛。
誠然,有了魯班們不會計較的前提,Ising就可以繼續(xù)從樊貞那里學習類腦計算了。這類腦,當然是一門大學科和交叉學科,包括方方面面,如大腦的結(jié)構(gòu)功能基礎認知和模擬、計算大模型LLM的建構(gòu)、軟件算法和硬件實現(xiàn)、各種應用場景與評估等,內(nèi)涵實在太大、太廣泛而無法一一展現(xiàn)。圖3(A)乃是來自人工智能AI專業(yè)的梳理示意圖。感興趣的讀者,隨便DS (deepseek) 一下,得到的AI知識都是成堆的那種。筆者掛一漏萬,在這里只打算討論一點視覺感知類腦硬件材料上的知識。
要做成類腦,首先要有感知的全套功能,即“感存算”一體化功能!物理人將其稱之為In-sensor computing systems (傳感內(nèi)計算系統(tǒng))。樊貞他們所從事的主要方向,屬于此中的視覺“感存算”,也即圖3(A) 中最核心的那個“computer vision”。如下,姑且針對這一視覺“感存算”架構(gòu),寫幾段讀書筆記。
3.1. 感
感,實際上指感知模塊,是人腦開始工作的首要一步。這里有兩個步驟,第一個步驟是生物感知信號(如視覺、聽覺、觸覺)的收集,第二步是信息的優(yōu)化、或說信息的清晰明確化。傳統(tǒng)技術(shù)中,這兩個步驟自然是分立的:先感知到數(shù)據(jù),再將數(shù)據(jù)按照某些算法或模型進行優(yōu)化清晰化。看起來,完成這兩步,就要求感知模塊既要有足夠的時空分辨率(陣列空間集成密度),又要有足夠的感知度。很多物理人有一個感覺,即華為手機的第二步太強大。眼睛看起來很模糊的月亮圖像,那些眼睛未可見的細節(jié)在華為手機中都清晰明了。這背后的話中話可能是:華為相機未必真的全是感知度高,還有可能是存在外加算法的加持?百度AI的解讀也有類似“計算光學與AI算法”的內(nèi)容,雖然華為手機鏡頭的硬件感知度的確很強大。
要達到高品質(zhì)感知度,就得消耗更多能量。因此,尋找那些可以高度集成并能有足夠感知參數(shù)范圍的新介質(zhì),毫無疑問是重要的。指針大約指向哪些介質(zhì)?或者大概率是哪些材料類別?能量消耗最大的來源,毫無疑問是電荷流動帶來的焦耳熱。因此,絕緣體介質(zhì)是首選之一,或者說鐵電是感知介質(zhì)的候選之一!
3.2. 存
信息感知或提取之后,需要通過某種信號驅(qū)動而保存下來 (非易失存儲)。這同樣有很多功能要求,如速度快、密度高、存儲壽命長等,都是做類腦的物理人耳熟能詳?shù)母拍蠲~。然而,信息存儲領域的物理人最自豪的事情之一,可能就是手中有太多可付諸使用的信息存儲方案。即便只討論磁存儲一類,就積累了眾多高、快、強的體系。
不過,這些方案一旦要應用到類腦計算系統(tǒng),如果要做到存算一體化,就需要克服“存儲墻”和“功耗墻”問題。基于當前的技術(shù)架構(gòu),存算一體,大概不能依賴磁場讀寫,而必須依賴自旋極化電流讀寫、或磁電耦合電場讀寫。這一架構(gòu),遭遇的第一個瓶頸,就是能耗。電流驅(qū)動讀寫,當然首選磁性金屬作讀寫介質(zhì)。此時,無論是磁性金屬本體還是異質(zhì)結(jié),焦耳熱總歸是存在的。利用電壓或柵極讀寫,因為自旋序參量天生攜帶的能帶劈裂,用于磁存儲的磁性半導體之能隙就不可能很大。如此,磁性半導體,不大可能是電壓讀寫方案的優(yōu)選。事實上,自旋電子學各種讀寫存儲操作中,伴隨的漏電流能耗也還有繼續(xù)下降的空間。特別指出,用于存儲的磁介質(zhì),哪怕是最近正熱火朝天的交錯磁體,付諸實際存儲讀寫時,依然是利用能帶劈裂帶來的磁電阻信號攜帶信息,依然有能耗問題。自旋電子學的物理人,依然在為了“增效降耗”而努力著。
作為非易失磁存儲的一個替代方案,鐵電存儲也是克服所謂“存儲墻”和“功耗墻”之類的優(yōu)選,以實現(xiàn)存算一體讀寫。當然,鐵電存儲也有一些問題和瓶頸。限于筆者立場,請允許筆者不在此絮叨這些問題^_^。
類腦非易失存儲的另一個問題,是存儲狀態(tài)的數(shù)目。無論如何,足夠多態(tài)而不僅是兩態(tài)的存儲能力,是未來類腦的發(fā)展趨勢,也貼合神經(jīng)形態(tài)操作的模式。這一趨勢,正合阻變和相變存儲的胃口,而磁存儲在這方面則稍顯遜色。鐵電存儲,如果用到導電疇壁和量子隧穿等存儲方案,其位置稍遜色于阻變,但優(yōu)于磁存儲。
3.3. 算
對感知的信息進行運算和處理,可能是人腦和類腦最難、最復雜的層面。當然,也可能是因為筆者不諳此道而感覺特別難。不論是數(shù)學和計算機科學上的模擬計算或脈沖讀寫,還是醫(yī)學認為的人腦中所謂時序依賴的疊加塑造運算,所依賴的硬件,應該都是由一個一個諸如場效應晶體管FET那般、1T1C邏輯開關單元那般組成的陣列。這些陣列,提供了矩陣相加或相乘、卷積積分迭代功能,有利于實現(xiàn)邏輯計算。筆者這里只針對最簡單的場效應晶體管開關,來討論運算功能。
場效應晶體管FET,通過對柵極施加電脈沖,開斷晶體管的導電溝道,實現(xiàn)0/1態(tài)轉(zhuǎn)換(運算)。對鐵電柵極FET而言,就是施加脈沖電場改變鐵電柵極的極化方向,控制FET流過溝道并存儲到近鄰鐵電電容中之電荷多少。如此,就實現(xiàn)了信息的存取。注意到,因為鐵電極化是非易失的,這里所謂“算”,就是鐵電柵極在電脈沖下要能實現(xiàn)快速翻轉(zhuǎn)。如此,也就同時實現(xiàn)了存儲器對信息的存取。這,就是存算一體操作。
3.4. 感存算一體
感知內(nèi)計算,最重要的特征就是感知信息的“感存算”一體化。存算一體,被認為是實現(xiàn)人腦的突觸與神經(jīng)元集成運行的關鍵,所以能耗低、速度快。在過去數(shù)十年試圖突破所謂馮? 諾依曼存算分離的努力中,諸如阻變存儲器RRAM、鐵電存儲器FeRAM 等,都能通過非易失電阻變化、電容變化,實現(xiàn)存算一體化。
在這兩類存算一體單元中,開關過程帶來的后果,如貢獻電阻的阻變、貢獻電容的鐵電疇,它們的狀態(tài)都同時被記錄下來。這與人腦中的神經(jīng)元(載流子或電荷) 輸運和突觸狀態(tài)很類似。阻變組態(tài)和鐵電疇組態(tài)的變化,類似于更新突觸權(quán)重,從而實現(xiàn)邊計算、邊存儲、邊學習,節(jié)省了載流子傳輸帶來的大量能量交換,功耗顯著降低。所謂自主完成學習,就是這個涵義。這一問題,在此不作細致討論。感興趣的讀者,可以AI或搜索一些科普資料來臨時腦補一下,也實踐感受一下“感存算”一體化管不管用^_^。
現(xiàn)在的難度是,如何實現(xiàn)“感+ 存+ 算”在同一個屋檐下,如何實現(xiàn)感存算一體和融合。傳統(tǒng)技術(shù)中,信息提取或傳感,如視/ 聽/ 觸三類信號的提取,都是靠額外的傳感器完成的,即傳感與存算是獨立分開的,如圖3(B) 中的(conventional computing architecture) 所示。傳統(tǒng)電腦中CPU和內(nèi)存雖然也是分離的,但總算是相互臨近、集成在主板中心同一塊區(qū)域。而諸如顯卡,卻是通過主板與CPU聯(lián)系,交換信息費時費地費能。顯卡本身就自帶自己的CPU和中央處理器集團:GPU(圖形處理器),自行負責圖形和并行計算;?顯存(VRAM),則為GPU提供高速臨時存儲;?供電模塊/散熱系統(tǒng)/視頻輸出接口(如HDMI、DP)?等,則提供運行的輔助服務。這一獨立王國,經(jīng)過幾十年的發(fā)展,既為諸如英偉達這樣的超級AI公司提供基礎支撐,更為當下的“感存算”提供指引。
看起來,類腦中的“感存算”,只有通過硬件層面的深度融合,才能突破傳統(tǒng)架構(gòu)中的“存儲墻”和“能耗墻”等,走向真正的類腦計算。
這其中,視/ 聽/ 觸三類傳感信號,信息量最大的是圖像的傳感、提取與處理。英偉達取得巨大成功之一招領先,也就是勝在高性能顯卡直接被用于運算的HBM技術(shù)上。所以,所謂的“感存算”,可能首先是圖像信息的感知提取與處理,正如圖 3(B) 所展示的架構(gòu)那樣。目前看,光學成像與信息轉(zhuǎn)換是最關鍵的技術(shù)路線。實際上,感存算融合,就是光學傳感與存算單元融合起來:要找到一種介質(zhì),既能實現(xiàn)既光學敏感,又能實時存儲和開關計算功能。
![]()
圖 3. 類腦視覺計算的概念架構(gòu)。
(A) 人工智能的目標,其中視覺計算是最核心的一塊,包括計算機“看到”和“辨認”圖像。類似的sensing感知和computing計算概念,可以拓展到其它類型如觸覺、味覺等。(B) 目前計算機視覺“感存算”的現(xiàn)狀。這里,常規(guī)的視覺計算架構(gòu)包括攝像、A/D模數(shù)轉(zhuǎn)換、存儲、CPU計算、后期人工智能操作等步驟。這些步驟都是在硬件和軟件分立架構(gòu)中分步實現(xiàn)的。感存算一體架構(gòu),則包括陣列感知成像后直接進行品質(zhì)和數(shù)字化處理、實現(xiàn)非易失存儲(integration of sendig, memory, and pre-processing),也包括緊接著進行的診斷和辨認計算(high-level processing & classification)。
(A) from https://ar.inspiredpencil.com/pictures-2023/artificial-intelligence-computer-vision。(B) from Y. Shi et al, Emerging 2D materials hardware for in-sensor computing, Nanoscale Horiz. 10, 205 (2025); https://doi.org/10.1039/D4NH00405A。
4.視覺的鐵電貫穿
稍微學習一下當下諸多感存算一體化感知器件的進展,能感受到成熟領先的方案不多。各條道上的物理人都在八仙過海、各顯神通。如果將光學傳感作為發(fā)展目標,則基于鐵電材料感知內(nèi)計算的“感存算”方案,算是比較有潛力的一類。筆者感性一些,稱之為視覺“感存算”系統(tǒng),正如標題所示。按照競爭上崗的說辭:鐵電感存算在short-list上。
這么說的道理在于:
4.1. 光學傳感
光的吸收和轉(zhuǎn)換,需要帶隙,因此金屬和窄帶隙半導體材料不成、不是好的選項。鐵電半導體之所以是首選之一,乃是因為其帶隙足夠匹配可見光、并易于被調(diào)控。鐵電體的光電效應、非線性光學效應和高效電場可調(diào)性,應該都是其它材料難以比擬的。物理人以此為常識,筆者在此不再啰嗦。不過,這里拿鐵電材料來,不是要做光學鏡片之類。對視覺“感存算”而言,這里的首要問題,是要實現(xiàn)對入射光強度和波長的敏感捕捉,并集成到“感+存”之中(算的實現(xiàn),隨后就會提及)。
一方面,對光的捕捉,是能帶帶隙設計的事情。設計的目標是使得承載圖像信息的光像素能夠被最佳吸收,從而激發(fā)最多的載流子、形成激子并分離出電荷信號而被記錄下來。其次,是實現(xiàn)高靈敏度,包括對光強的敏感,以提高圖像襯度和分辨。再次,可能算是更高層面的設計,即從圖像提取角度,感知材料要能對不同波長的可見光、紅外和紫外光有一定的選擇吸收性。
另一方面,在此基礎上,利用鐵電半導體的獨特優(yōu)勢,實現(xiàn)更為高效的感存算。其中一種機制,即1960年代提出、這幾年被重新審視的所謂“鐵電體光伏”效應(ferroelectric bulk-photovaltaic effect, FBPV),如圖 4 所示。這一機制發(fā)揮作用的量子物理,在圖中有所展示,圖題也給出了相關文獻,在此不再重復。而基于大學物理的認知,所謂“鐵電體光伏”效應,理解起來就再簡單不過了:既然是鐵電體,就存在自發(fā)的鐵電極化,對應地鐵電體內(nèi)就存在與極化P方向相反的、穩(wěn)定不變的內(nèi)電場Eint。很大程度上,這一內(nèi)電場不會很大,但足以驅(qū)動體內(nèi)載流子運動,也可協(xié)助光生激子的拆分。由此帶來的正負電極兩端的電勢差,即為體光伏開路電壓Voc。
這些效應形成的信號電壓輸出,即光學傳感的電學信號。如果這一信號能被原位實時用于感存算一體化過程,即是最佳效果。其中,這一電壓如果能夠直接用來對鐵電電容進行讀寫,則實時“存”的功能就得以實現(xiàn)。
4.2. 非易失存儲(FeRAM)
鐵電作為高品質(zhì)、低能耗的非易失存儲器,被關注超過三十年。曾經(jīng)有幾家重量級大公司參與一線研發(fā),使得一些低密度FeRAM在市場上廣泛使用(如筆者所知,電子秤產(chǎn)品中有用到FeRAMs)。從技術(shù)路線和器件結(jié)構(gòu)上看,鐵電存儲器并無太多變化,只是諸如HfO2這樣神一樣的材料正在登堂入室,替代如PZT等傳統(tǒng)鈣鈦礦鐵電氧化物。
就目前的感存算集成器件而言,筆者并不很了解鐵電存儲是否有updated更新的架構(gòu)。存算一體的概念和實踐,已經(jīng)只爭朝夕一些年了,進展很大。其中最令人矚目的進展,可能要算HfO2了:這一正在被用作Si基集成電路FET的氧化物柵極層,被發(fā)現(xiàn)存在鐵電性,從而將FeRAM推到了工業(yè)界32 Gb/inch2的規(guī)模。鐵電存儲,從1990年代國內(nèi)外開始吆喝,到今天工業(yè)界(如美光公司)基于疊層架構(gòu)的商用FeRAMs研發(fā)成功,歷經(jīng)三十余年,大概是鐵電物理與材料最耀眼的成就。
下面會看到,樊貞他們亦是利用具有光感的鐵電電容(就是簡單的PZT陶瓷薄片陣列),通過施加脈沖電場實現(xiàn)鐵電疇結(jié)構(gòu)調(diào)制,以完成視覺感知的“存+算”一體開關操作。
4.3. 鐵電類腦器件
在轉(zhuǎn)向樊貞的鐵電感存算之前,再簡單提及已在鐵電物理人手里把玩了一些年的鐵電類腦器件。目前能夠見諸報道的有突觸單元、神經(jīng)元器件、存算一體原型和生物電子元器件等幾大類。
這些器件,在結(jié)構(gòu)上大概分為電容和隧道結(jié)兩大類型。鐵電電容一類,主要依靠脈沖電場操控電容器中鐵電疇組態(tài)和宏觀極化大小,也就是束縛電荷多少,來表達突觸可塑性。諸如長時程增強/抑制(LTP/LTD)等功能,都得以實現(xiàn),為實現(xiàn)神經(jīng)形態(tài)中的權(quán)重存儲與更新提供物理參數(shù)。目前看,這一路線的發(fā)展似乎顯得四平八穩(wěn),可圈可點之處不多。
另一類器件,在結(jié)構(gòu)上以鐵電隧道結(jié)為主。通過脈沖操控隧道結(jié)中不同鐵電疇組態(tài)下的隧道電阻,以阻變演化來實現(xiàn)類似的突觸可塑性。這方面,筆者較為熟悉的國內(nèi)團隊有中科大李曉光團隊、清華南策文團隊、華東師大段純剛團隊、復旦大學江安全團隊、華南師大高興森團隊等,還有電子科大、湘潭大學、中科院深圳先研院等院所,都有不錯的工作進展。這里列舉疏漏很多,請相關讀者不以為意。
鋪墊廢話了那么多,接下來,該鐵電感存算了吧!
![]()
圖 4. 鐵電體光伏效應的物理科普。
(A) 展示鐵電光伏效應的結(jié)構(gòu)示意圖與基于鐵電極化引入的內(nèi)部退極化場(內(nèi)電場)驅(qū)動體內(nèi)載流子輸運機制。這一機制與傳統(tǒng)半導體光伏的p-n機制不同。鐵電體光伏效應的概念在1960年代就被提出,但未能付諸實際應用的主要原因是那個時代熟知的鐵電體能隙太大,載流子傳輸缺乏現(xiàn)實意義。(B) 鐵電體光伏的所謂“shift漂移機制”與所謂的“ballistic彈道機制”相互競爭,勝出者掌控體光伏效應。相關討論可見鏈接之參考文獻。目前看,漂移機制占據(jù)上風。(C) 處于陽極(anode、正極)和陰極(cathode、負極)之間的鐵電體之能級結(jié)構(gòu)。在光照下,開路光伏電壓Voc = Prd/[ε0(εr-1)],其中Pr是鐵電剩余極化、d是鐵電層厚度、ε0和εr是真空介電常數(shù)和鐵電電介質(zhì)相對介電常數(shù)。對一般鐵電體,介電常數(shù)偏大,因此就鐵電光伏而言,最好挑選那些介電常數(shù)小、極化大的體系,雖然這樣的體系不多。
(A) from Arti Chauhan et al, Results in Phys. 14, 102403 (2019), https://doi.org/10.1016/j.rinp.2019.102403。(B) from Y. Liu et al, Bulk Photovoltage Effect in Ferroelectric BaTiO3, J. Phys. Chem. Lett. 13, 11071 (2022), https://pubs.acs.org/doi/10.1021/acs.jpclett.2c03194。(C) From Yuji Matoba et al, Bull. Chem. Soc. Japan 96, 247 (2023); https://doi.org/10.1246/bcsj.20230011。
5.樊貞的視覺感存算
實話說,鐵電感存算一體化,不是一件容易的事情。樊貞他們的工作,并非真的一步登天將這一體化做好了。他們也多是在前人基礎上開始了新的探索嘗試罷了。樊貞他們的主體工作,按照筆者現(xiàn)在的理解,可被梳理成如下兩小節(jié)。
5.1. 創(chuàng)新思路
(1) 先從目前的視覺感存算系統(tǒng)研發(fā)工作開始。主線大概分為兩類,即圖像品質(zhì)加工、圖像識別計算!所謂圖像品質(zhì)加工提升,就是將感知的圖像信號存儲下來、并實時進行包括降低信號噪聲、提升襯度品質(zhì)和視覺舒適度(visual adaptation)等處理。這些處理硬件上相對簡單,通過重復拍攝或斬波(chop),形成脈沖信號,圖像的襯度和亮度將得以提升。對類腦材料,外部信號引入,將不斷激發(fā)、訓練,體系不斷展現(xiàn)功能疊加響應,因此圖像品質(zhì)加工提升的目標容易達到,也即被稱為是低端的信息處理(low-level processing, dynamic photoresponse 動態(tài)光感知,簡稱DP)。所謂圖像識別計算,包括辨認和編碼,被稱為是高端處理計算(high-level computing, programmable photoresponsivity可編程光感知, 簡稱PP),其實質(zhì)就是對陣列單元進行編碼讀寫(開關),并不斷比對,最終實時完成圖像的識別和編碼。
(2) 兩類任務的完成,都得借助硬件和軟件協(xié)同。這里,只討論硬件處理。目前的技術(shù)中這兩類任務是分離進行的,整個系統(tǒng)在數(shù)據(jù)交換速率、能耗和系統(tǒng)集成方面與高效類腦計算要求有很大距離。樊貞他們想做的,就是一次性能將這兩類任務置于同一器件中實時完成。所謂視覺的感存算一體,就是這個意涵。
(3) 難度在哪里呢?!難度在于DP過程是含時的,而PP過程則希望得到的狀態(tài)穩(wěn)定可靠、聽從操控。DP和PP兩者難以和睦相處。當然,有些PP過程可能會依賴于光線輻照(光照成像)強度和時間,但光源關閉后體系依然要能夠弛豫回到初態(tài)。這一要求,與DP過程不適配。
(4) 怎么辦呢。樊貞他們苦思冥想之后,大約也是在文獻和同行啟發(fā)之下,開始關注能否將如上提及的鐵電體光伏效應引入進來。他們設計的器件結(jié)構(gòu)示意圖,大約如圖5 所示。為了對應閱讀,這里的圖5,乃是筆者基于樊貞論文中的圖1 [K. Liu et al, NC 17, 408 (2026); https://www.nature.com/articles/s41467-025-67103-x]進行加工優(yōu)化后的樣子。正是因為有了這番創(chuàng)意,樊貞他們能夠取得進展。即便是以經(jīng)典鐵電體PZT [(Pb0.97La0.03)(Zr0.52Ti0.48)O3]陶瓷薄片為載體,他們也得到了第一批不錯的結(jié)果。對詳細內(nèi)容感興趣的讀者,請移步他們的論文一覽究竟。
下一節(jié),筆者對他們的創(chuàng)意思路,做一番基于自身立場的“曲解”和“誤讀”。
5.2. 框架設計
對樊貞創(chuàng)意進行解讀不難,難在體會他們花費了多少心思和努力才設計出來的這一框架。他們的這份“難”,值得敬佩:
(1) Box (A):光學傳感矩陣陣列(a1),由N×N個基本單元(a2)組成。每個單元(a2)由紅藍兩個直角三角元(◤+◢)近鄰而成。在陣列密度足夠高的前提下,兩個三角元的光學成像可視為是identical的。紅色三角元(簡稱“紅三角元”◤)顯示于(a3),藍三角元形(◢)顯示于(a4)。電子和空穴的顏色符號顯示于(a5)。藍三角元◢ /紅三角元◤的初始態(tài)是一樣的,顯示于(a6):均由一鐵電光伏電容與一鐵電存儲電容并聯(lián)而成。光伏電容,因為要承載光生載流子激發(fā)與傳輸,其帶隙必然小,難以長久維持鐵電極化態(tài)而不發(fā)生退化。為此,并聯(lián)一個帶隙足夠大、剩余極化大、翻轉(zhuǎn)電場足夠低的鐵電存儲電容,以長久存儲光伏電容記錄下來的鐵電極化狀態(tài),是必要的。初始態(tài)時,光伏電容需預先被極化。極化后的剩余極化為Pr。光伏電容體內(nèi)的內(nèi)電場為Eint,與Pr反向。
(2) Box (B):展示視覺成像與品質(zhì)優(yōu)化過程(dynamic photoresponse, DP)。紅三角元◤內(nèi)部的光伏電容在感光(光脈沖輻照)后,產(chǎn)生光生電子和空穴,顯示于(b1)。電子/空穴在在內(nèi)電場Eint作用下反向而行,電子向上遷移并聚集于上電極,空穴向下遷移并聚集于底電極。電荷同時聚集于存儲電容電極中,形成內(nèi)電場翻轉(zhuǎn)鐵電疇,實現(xiàn)非易失存儲,顯示于(b2)。在顯示于(b3)的一系列optical inputs驅(qū)動下,光伏電容兩端的電荷不斷聚集,顯示于(b4);同時存儲電容器兩端電荷也不斷聚集,顯示于(b5)。經(jīng)歷這一系列optical inputs驅(qū)動后,兩個電容的開路電壓信號(electrical outputs)亦不斷升高,顯示于(b6)。這一過程,即視覺圖像感知與品質(zhì)提升過程,最后實現(xiàn)contrast enhancement (貓的圖像不斷清晰化),顯示于(b6)上方。
(3) Box (C):展示與紅三角元◤毗鄰的藍三角元◢是如何實現(xiàn)圖像的診斷與鑒定的(diagnosis & identification)。這一Box,包括兩個串聯(lián)起來的Box (C1)和Box (C2)。
(4) Box (C1):展示的過程,與紅三角元◤的Box (B)完全一樣,但是針對的是藍三角元◢。在此不再重復描述。紅藍三角元毗鄰,組合成陣列單元(a2),因此它們光學感知到的信息是幾乎一樣的。
(5) Box (C2):展示光學感知信號的診斷與識別(diagnosis & identification),緊接著Box (C1)其后進行。對光伏電容(d1)進行正反電脈沖(electrical inputs)寫入[同時也是對存儲電容(d2)的寫入],顯示于(d3)。這一寫入序列,實際上是在操控光伏和存儲電容器中的鐵電疇,以得到不同的極化態(tài)輸出,顯示于(d4)/(d5);對應的電信號輸出(electrical outputs)顯示于(d6)。隨后,借助軟件操作,將這些輸出與參考視覺圖像進行比對,以診斷光感知的視覺信號是什么。這一過程,覆蓋(a1)所示的所有陣列單元,從而最終完成對整個圖像的視覺診斷和認定,實現(xiàn)視覺計算。
(6) 最后,注意到,Box (C2)中的電脈沖寫入,已經(jīng)破壞了藍三角元◢存儲的圖像信號。幸虧,同樣的(identical)的信號保存在毗鄰的紅三角元◤中。此乃“笨拙的”非易失信息存儲。整個設計,很好完成了對此單元的視覺“感存算”一體化任務。
如上描繪,如果覆蓋到(a1)所示的視覺感存算陣列之每一個單元上,就可完成對一幅完整圖像的視覺“感存算”一體化處理。筆者取本文標題為“視覺感存算的鐵電貫穿”,算是扣住了這一工作的核心元素。樊貞他們在過去兩年甚至更長時間內(nèi),完成了對這一框架設計的實驗實現(xiàn)與驗證,寫成了一篇很有創(chuàng)意的論文,刊登于2026年初的《Nature Communications》上,引起同行關注。相關公眾號《感存算一體》在2025年底論文手稿online時就寫了《》的推文,對這一結(jié)果進行了解讀。本文在此不再重復這一論文對數(shù)據(jù)的細節(jié)描述和相關討論。
![]()
圖 5. 華南師大IAM樊貞團隊“視覺感存算”的創(chuàng)新架構(gòu)。詳細描述見正文第5.2節(jié),此處不再詳加解讀。
6.作為結(jié)語的議論
筆者撰文的一貫風格,就是偶有夸張和感性表達。因此,本文存在若干不那么嚴謹夯實之處,是可以預見的。將類腦計算中的視覺感知與計算一體化,算得上是不錯的進展,渲染一下未必不可。然而,要對“人腦”運行進行系統(tǒng)全面的“類腦”復現(xiàn),看起來還有萬水千山。人腦處理視覺,應該只算其系統(tǒng)功能之滄海一粟。人腦還有觸覺、聽覺、(聞)味覺等等,更有操控人體各個器官的驅(qū)動、響應、交流和協(xié)同等等。這些,大概不是一個視覺上的“感存算”所能代表的。
話又說回來,萬事開頭難。視覺上的“感存算”,淌開了人腦對所有功能“感存算”之大江大河。所謂滄海桑田,未來大約可期。這一小步,與萬千同行們各自邁出的千萬步一起,預示著物理人對大腦海闊天空的最終占領不是不可能的事情。這是創(chuàng)新的價值。
當然,在思路上的創(chuàng)新之外,要實現(xiàn)真實的類腦視覺應用,除了最難而未必可期的陣列化、規(guī)模化、產(chǎn)業(yè)化之外,樊貞他們腳下還有很多牽絆和障礙。即便是本文涉及的這一小步,亦有一些踉蹌之處:
(1) 所謂鐵電光伏材料,因為帶隙要求所限制,要么載流子濃度偏低,要么遷移率是個問題,要么鐵電性能不夠好。這些物理限制,通常都是trade-off的關系,經(jīng)常無法兼顧。
(2) 材料問題亦是挑戰(zhàn)。未來的感存算,終歸還是要回歸到Si基半導體上。鐵電氧化物與Si的集成,依然是挑戰(zhàn),即便是HfO2亦有一些問題等待克服。
(3) 利用所謂的above-bandgap體光伏效應,即便不管p-n結(jié)物理,只利用鐵電極化構(gòu)建的內(nèi)電場來驅(qū)動載流子分立,也未必就能解決所有問題。且不論這樣的好材料有多少,實際上此類驅(qū)動依賴于內(nèi)電場Eint大小。一旦光生載流子在光伏電容兩端建立起自己的電場Eph,體內(nèi)實際電場即不斷減小,因為它們兩者是反向的。
(4) 且不論軟件運算層面的一些糾葛,在硬件運算層面,存儲電容的配置給系統(tǒng)帶來了額外復雜性。在樊貞的版本中,存儲與診斷之間不能共存的問題尚未很好解決,亦需要下一步更好應對。
嚴苛如筆者這樣的物理人,還可針對這一工作提出更多質(zhì)疑和問題。如此再提下去,既沒有必要,亦是對作為主將的樊貞教授、作為打醬油作者的筆者自己,之大不尊重!
最后指出,本文描述可能多有夸張、不周之處,敬請讀者諒解。對詳細內(nèi)容感興趣的讀者,可點擊文尾的“閱讀原文”而御覽他們的論文原文。
In-sensor image memorization, low-level processing, and high-level computing by using above-bandgap photovoltages
Kun Liu, Shan Tan, Zhen Fan( 樊貞), Haipeng Lin, Jiali Ou, Haoyue Deng, Jinghao Chen, Wenjie Li, Wenjie Hu, Boyuan Cui, Zhiwei Chen, Ruiqiang Tao, Guo Tian, Xubing Lu, Guofu Zhou, Xingsen Gao & Jun-Ming Liu
Nature Communications 17, Article number: 408 (2026)
https://www.nature.com/articles/s41467-025-67103-x
卜算子·空山霜野
赤壤出空山,約起涂芳甸
無矩無規(guī)任意拼
砌個風流亂
斜面若分形,易野如天演
許我巡游沃瘠間
遍歷桑疇看
![]()
(1) 筆者Ising,任職南京大學物理學院,兼職《npj Quantum Materials》執(zhí)行編輯。
(2) 小文標題“類腦視覺感存算之鐵電貫穿”乃宣傳式的言辭,不是物理上嚴謹?shù)恼f法。這里是指樊貞博士他們發(fā)展了一種針對視覺上的“感存算”一體化器件架構(gòu):借助鐵電的體光伏效應和非易失存算功能,有機會打通視覺和信息之類腦計算中遭遇的存儲墻、感存墻等,實現(xiàn)三位一體一把抓。
(3) 為撰寫本文,作為外行的筆者參閱過諸多網(wǎng)絡神文名篇,包括《知乎》《百度》和《Bing》上的資料。在此謹致謝意!本文夾塞了許多筆者粗知陋見,請讀者不以為意!
(4) 文底圖片乃 (20260228) 拍攝于江南嚴冬霜野處,有紅梅初放之態(tài)。文底小詞 (20260129) 原本寫嚴冬時節(jié)江東蕭瑟大地上生命初啟。用在這里感懷一下樊貞教授他們年輕一代學者探索從無到有的精氣神。畢竟,鐵電視覺的感存算,第一個系統(tǒng)性的嘗試即是這篇工作。
(5) 封面圖片取自樊貞他們論文的圖 1,展現(xiàn)了視覺低端圖像品質(zhì)處理和高端圖像診斷辨認計算的會合集成。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.