讓機器人看清墻壁不難，然而一旦遇到鏡子、玻璃或金屬，很多 3D 傳感器就“不靈”了。

為了解決上述問題，美國亞利桑那大學(xué)與萊斯大學(xué)、西北大學(xué)聯(lián)合團隊開發(fā)了一種新型 3D 傳感器，他們將整個環(huán)境變成“虛擬屏幕”，通過事件相機和掃描激光，可在 70 毫秒內(nèi)同時重建出漫反射和鏡面反射物體的三維形狀，精度控制達(dá)亞毫米級。

這項技術(shù)的創(chuàng)新在于，不用提前分物體材質(zhì)、不用外置標(biāo)定屏、靠環(huán)境本身就能進行混合反光場景 3D 建模。不僅有望在玻璃、金屬、塑料、布料混雜的場景中應(yīng)用，例如自動駕駛、手術(shù)機器人、工業(yè)檢測和生物醫(yī)學(xué)成像等領(lǐng)域，還未來還有望延展到更廣泛的領(lǐng)域，例如從手術(shù)中測量血管到數(shù)字化整個房間或建筑物。相關(guān)論文發(fā)表在 Nature Communications[1]。

圖丨相關(guān)論文（來源：Nature Communications）

如何同時看清鏡子和墻面？這個問題對于人眼來說似乎是一件很自然的事：眼睛與大腦實時構(gòu)建出動態(tài)場景的三維精確圖像，再不斷計算各種形狀、大小和表面的物體之間的距離。

然而，這卻是光學(xué)三維測量領(lǐng)域長期以來的難題之一，鏡子、玻璃、拋光金屬等高反射表面，與墻面這類漫反射表面的成像機制截然不同，前者以鏡面反射為主，后者則以漫散射為主。大多數(shù)先進的 3D 傳感器都針對漫反射（啞光）或鏡面反射（高光）表面進行優(yōu)化，但往往只能在兩種情景中“二選一”。

（來源：Nature Communications）

然而，現(xiàn)實世界的場景中存在著介于這兩種極端情況之間的各種表面反射率。對機器人手術(shù)應(yīng)用來說，也迫切需要可精確測量表面的三維傳感技術(shù)，其難度在于手術(shù)部位環(huán)境復(fù)雜，通常包含液體和濕潤的組織，以及皮膚等分散的表面。

而在整車漆面檢測這類工業(yè)場景下，傳統(tǒng)方案可能需要搭建可容納整臺車的隧道式大型幕布裝置。而且，這類硬件方案局限性同樣明顯，不僅造價高昂、難以移動，應(yīng)用場景也十分受限。

該團隊的理念建立在成熟的技術(shù)偏折測量法之上，后者通過觀察屏幕上的圖案在反射面的形變來測量鏡面形狀。然而，要用偏折測量法測量高度復(fù)雜的形狀，通常需要大型屏幕才能覆蓋較大的表面方向角度范圍。

研究人員通過一種巧妙的測量構(gòu)建了新系統(tǒng)：他們放棄了使用大型屏幕，而是利用房間內(nèi)需要測量的鏡面物體，將整個周圍環(huán)境變成一個“虛擬屏幕”。

研究人員并未采用逐幀捕捉整個場景的傳統(tǒng)相機，而是使用了一種神經(jīng)形態(tài)事件相機，它僅以極高的時間分辨率捕捉測量過程中的關(guān)鍵部分，其能夠以高幀率拍攝包含運動物體的混合反射場景的 3D 視頻。

（來源：Nature Communications）

具體而言，他們用事件相機配合雙軸掃描激光投影儀，先對場景進行快速掃描。等激光掃過漫反射表面時，光線向四面八方散射，事件相機則異步捕捉亮度變化信號，利用三角測量重建出漫反射物體的三維形狀。該研究的創(chuàng)新之處在于，系統(tǒng)會將這些被重建出來的漫反射表面，識別成“虛擬屏幕”，再用它來測量場景中的鏡面物體。

“我們可以使用激光掃描儀捕捉房間內(nèi)的所有物體，包括鏡面、光澤和啞光表面的物體以及啞光墻面。然后，使用算法將漫反射表面與鏡面反射表面分離，最終將所有測量到的漫反射場景部分用作虛擬屏幕，用于對鏡面反射部分進行偏折測量，”該論文第一作者、萊斯大學(xué)博士生 Aniket Dashpute 說道。

激光從墻面某點反射后，經(jīng)鏡面再次反射進入相機這條兩次反射的光路被系統(tǒng)識別為間接反射事件，與直接反射事件通過極線幾何約束分離開。鏡面表面的法向量可由入射光線與反射光線之間的幾何關(guān)系求解，然后基于迭代優(yōu)化算法從法向量場恢復(fù)出深度圖。

圖丨實驗室中的原型機（來源：Nature Communications）

值得關(guān)注的是，在場景內(nèi)漫反射表面，一塊普通的紙板、一堵墻、甚至一個雕塑的背面，都可以充當(dāng)偏折測量的光源，整個過程不需要任何額外的硬件。

在實際實驗中，這套系統(tǒng)表現(xiàn)出強適應(yīng)能力。以一塊純白色的平板為參照，在漫反射場景下，該系統(tǒng)可在 4 毫秒內(nèi)完成一次掃描，對應(yīng) 250 赫茲的幀率，重建誤差約 210 微米。

對于混合了漫反射大衛(wèi)雕像、鏡面氣球和金屬鎖扣的復(fù)雜場景，系統(tǒng)掃描時間 70 毫秒，約每秒 14 幀。從實現(xiàn)效果來看，仍然可以清晰地捕捉到氣球的旋轉(zhuǎn)和紙巾被快速抽走的動作。

在定量測試實驗中，漫反射球的精度約 310 微米，鏡面球的精度為 450 微米。相比之下，使用事件相機的現(xiàn)有方法在同等條件下的深度誤差高達(dá) 6 毫米。而英特爾 RealSense 和微軟 Kinect v2 等商用產(chǎn)品，面對鏡面容易出現(xiàn)數(shù)據(jù)缺失或直接給出錯誤深度的問題。

總體來看，這項研究展示了一條新的路徑：通過不同反射類型之間的信息互補，粗糙的表面可以作為光滑表面的參照物，從而讓事件相機的高速和高動態(tài)范圍來彌補激光掃描稀疏帶來的信息缺口。

參考資料：

1.Dashpute, A., Wang, J., Taylor, J. et al. Accurate and fast event-based shape measurement of mixed reflectance scenes. Nat Commun 17, 4407 (2026). https://doi.org/10.1038/s41467-026-72254-6

2.https://techxplore.com/news/2026-05-virtual-screen-machines-3d.html

運營/排版：何晨龍

注：封面/首圖由 AI 輔助生成