蘋果發(fā)布最新機(jī)器學(xué)習(xí)研究：傳統(tǒng)上，從RGB圖像進(jìn)行的密集3D重建假設(shè)相機(jī)姿勢(shì)穩(wěn)定。 即使近期的研究越來越關(guān)注移動(dòng)設(shè)備的即時(shí)方法，這種假設(shè)仍然存在。 然而，這種一個(gè)圖像對(duì)應(yīng)一個(gè)姿勢(shì)的假設(shè)在線上執(zhí)行中并不成立：即使 SLAM 產(chǎn)生的姿勢(shì)是動(dòng)態(tài)的，可能會(huì)在事件發(fā)生后進(jìn)行更新，例如捆綁調(diào)整和循環(huán)閉合。 這一問題在RGB-D環(huán)境中已得到解決，通過拆分過去的視圖并將它們與更新的姿勢(shì)重新整合，但在僅有RGB的情況下仍然很少被處理。

LivePose 線上3D重建

蘋果對(duì)這一問題進(jìn)行了正式定義，以確定從具有動(dòng)態(tài)姿勢(shì)的圖像進(jìn)行線上重建的新任務(wù)。 為了支持進(jìn)一步的研究，我們引入了名為L(zhǎng)ivePose的數(shù)據(jù)集，其中包含運(yùn)行在ScanNet上的SLAM系統(tǒng)的動(dòng)態(tài)姿勢(shì)。 我們選擇了三種最新的重建系統(tǒng)，并應(yīng)用了一個(gè)基于拆分的框架，以適應(yīng)每個(gè)系統(tǒng)的動(dòng)態(tài)姿勢(shì)設(shè)置。 此外，我們提出了一個(gè)新的非線性拆分模塊，該模塊學(xué)習(xí)去除過時(shí)的場(chǎng)景內(nèi)容。 我們展示了對(duì)姿勢(shì)更新的反應(yīng)對(duì)于高質(zhì)量的重建至關(guān)重要，而我們的拆分框架是一個(gè)有效的解決方案。

動(dòng)態(tài)特性的重建

新算法根據(jù)歷史當(dāng)前觀測(cè)結(jié)果產(chǎn)生精確的增量重建，解決了同步定位和地圖映射（SLAM）系統(tǒng)的動(dòng)態(tài)特性，確保與 SLAM 更新保持一致。

改變假設(shè)：動(dòng)態(tài)相機(jī)姿勢(shì)

先前在密集的純RGB重建方面，很大程度上忽略了線上應(yīng)用中相機(jī)姿態(tài)估計(jì)的動(dòng)態(tài)特性，在重建過程中依然采取靜態(tài)輸入圖片的傳統(tǒng)表述。

革命性的算法整合

科學(xué)研究團(tuán)隊(duì)在算法中納入了動(dòng)態(tài)特性，并將其整合到現(xiàn)有的RGB技術(shù)中。 團(tuán)隊(duì)受 BundleFusion（一種采用線性更新算法將新視圖整合到場(chǎng)景中的RGB-D技術(shù)）的啟發(fā)，探索解構(gòu)了舊視圖，然后重新整合提供位置資料。

非線性去整合的技術(shù)

蘋果和加州大學(xué)圣塔芭芭拉分校的研究人員引入了一種獨(dú)特的基于深度學(xué)習(xí)的非線性去整合技術(shù)，該技術(shù)專門用于促進(jìn) NeuralRecon 等技術(shù)的線上重建，該技術(shù)依賴于學(xué)習(xí)的非線性更新規(guī)則。

LivePose 資料

為了驗(yàn)證他們的方法，他們引入了LivePose資料集，這是一個(gè)開創(chuàng)性的資源，包含使用BundleFusion產(chǎn)生的ScanNet的完整動(dòng)態(tài)姿勢(shì)序列。 該數(shù)據(jù)集是評(píng)估其技術(shù)和促進(jìn)未來研究的關(guān)鍵工具。

結(jié)論

這項(xiàng)突破有可能為增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和其他需要精確3D建模的產(chǎn)業(yè)帶來新的可能性。 通過充分理解相機(jī)姿勢(shì)的動(dòng)態(tài)特性，我們能夠?qū)崿F(xiàn)更高質(zhì)量的線上 3D 重建，為未來的應(yīng)用提供了更多可能性。 無論是虛擬現(xiàn)實(shí)，擴(kuò)增現(xiàn)實(shí)還是其他領(lǐng)域，LivePose的技術(shù)將為我們帶來更真實(shí)且令人興奮的體驗(yàn)。