科學家打造光譜學界“搜救犬”工具

美國能源部勞倫斯伯克利國家實驗（Lawrence Berkeley National Laboratory ）的科學家開發了一種有趣且應用潛力巨大的新型智能傳感器，如同訓練有素的搜救犬：它首先“嗅探”出示例樣本——比如一種農作物或葉子的光譜特征。然后，它能夠在全新的、此前從未見過的環境中尋找指定的目標。

光譜成像工具（即捕捉超出肉眼可見RGB光譜顏色的相機）對于獲取物體材料和結構屬性的信息至關重要。將其與機器學習相結合，為識別現實世界中的物體特征提供了一條強大的應用方法，這些應用包括半導體制造、污染物追蹤和作物監測。

現在，通過將AI算法嵌入相機傳感器本身，的研究人員已經消除了長期困擾光譜成像技術性能的數據處理瓶頸。其結果是一個能夠快速、高效地識別化學品和表征材料的智能傳感器。

“我們的重點是使現有光譜機器視覺技術的速度、分辨率和能效提升兩個數量級以上�！鳖I導這項設備研究的Ali Javey表示。Javey是Berkeley Lab的高級教職科學家，同時也是加州大學伯克利分校材料科學與工程教授。這項工作與加州大學洛杉磯分校的Aydogan Ozcan緊密合作完成。

該傳感器設計展示了如何將新穎的功能構建到半導體器件本身，以提高其效率和實用性，并開啟一類新的AI視覺硬件。

用光構建算法

傳統光譜成像技術將傳感器和計算模塊分離開來。傳感器首先捕獲一堆圖像，每一張對應某種顏色。然后，密集的圖像堆棧被發送到數字處理器進行進一步計算，從而產生物體識別結果。

問題就出在這里。

“傳感器必須收集并向數字處理器發送比普通相機多得多的數據，大致比普通相機大十到一百倍�！盉erkeley Lab材料科學部門博士后、該研究的第一作者Dehui Zhang表示。

因此，傳感器和計算機硬件往往不堪重負，使物體識別任務變得極其緩慢且能耗極高。

相反，Berkeley Lab團隊開發的傳感器在圖像捕獲——即光電檢測——過程中本身就執行AI計算和光譜分析。

“光電檢測可以被感知為一種自動的物理計算過程�！盳hang解釋道。

當光線照射到傳感器時，其強度會自動映射到電流的強度上。由于傳感器對光的響應度可以輕松調節，研究人員擁有一個旋鈕，用于選擇哪些光譜特征被突出顯示，哪些被抑制。

因此，傳感器被電路讀取的電流，就充當了對圖像光譜內容的推斷�！拔覀冏C明了這一計算過程在數學上類似于通常用于數字機器學習的算法�！盳hang說。

這一類比使得將傳感器用作機器學習計算機并對入射光本身執行機器學習計算成為可能。

訓練機器

任何AI或機器視覺模型首先都需要學習它應該識別什么。這意味著向它“展示”足夠多的感興趣光譜特征的示例——例如，來自真實葉子與人造葉子的紅外線圖案；或者圖像中屬于鳥類羽毛而非樹皮（顏色相似）的像素——使其能夠在未經試過的測試案例中找到這些特征。

在訓練步驟中，研究人員向傳感器展示了森林環境中彩色鳥類的數十張圖像。傳感器沒有檢查每張圖像的每個像素，而是“嗅探”了一個隨機選擇的像素子集，每個像素被標記為屬于鳥類或不需要的背景。

外部計算機向傳感器發送電信號，命令它“識別鳥類”或“識別背景”，并記錄每個命令下傳感器的輸出。然后，軟件確定教導傳感器突出鳥類區域同時抑制其他所有內容的最佳命令組合。

在測試步驟中，他們向傳感器展示了一張新圖像并告訴它找鳥，使用訓練期間開發的命令組合。傳感器僅對屬于鳥類的像素輸出正信號。這一結果意味著傳感器已經從示例中學習識別目標物體，即使它們屬于從未見過的圖像。

“對我來說，最令人興奮的部分是賦予傳感器智能的概念�！盝avey說。

普通傳感器僅僅收集原始環境信息，將智能識別任務留給數字處理器。通過聯合設計半導體材料、器件和算法，使傳感器能夠在不需要數據數字后處理的情況下學習和計算。

但這項技術的應用遠不止識別鳥類。使用能夠探測可調響應度的中紅外光的黑磷光電二極管，研究人員實驗性地展示了其他幾種有趣的可能性。他們成功識別了半導體樣品中的氧化層厚度——制造巨頭需要其完美均勻——以及不同植物葉片的水合狀態、光學圖像中的物體分割，以及培養皿中的透明化學品。

“我也對這種設備未來更廣泛應用持樂觀態度。”Javey說。未來，智能傳感器不僅可以用于光譜機器視覺，還可以用于“其他先進光學傳感及更多領域”。

這項工作由美國能源部基礎能源科學辦公室資助。它獲得了能源部微電子能效研究先進技術中心的支持，這是能源部三個微電子科學研究中心之一。