編輯｜杜偉

剛剛，李飛飛世界模型新成果來(lái)了，還是開(kāi)源的！

就在今天凌晨，李飛飛空間智能獨(dú)角獸公司 World Labs 官宣推出「Spark 2.0」，將最具野心的 3DGS（3D 高斯?jié)姙R）世界帶入到 Web

這意味著，原本只有專(zhuān)業(yè)設(shè)備才能運(yùn)行的超大規(guī)模、高保真 3D 場(chǎng)景，現(xiàn)在變成任何人都可以在瀏覽器中訪(fǎng)問(wèn)的內(nèi)容。

而隨著高保真 3D 內(nèi)容可以在任意設(shè)備上進(jìn)行訪(fǎng)問(wèn)，包括手機(jī)、VR 設(shè)備等，空間敘事能力向前邁進(jìn)了一大步。

這個(gè)專(zhuān)為 3DGS 打造的渲染器還是開(kāi)源的，可以流式加載 1 億 + 的 3DGS 數(shù)據(jù)，將構(gòu)建一個(gè)全新的 3D 物理世界。

3D 高斯?jié)姙R渲染神器，Spark 2.0 來(lái)了

作為一個(gè)面向 Web 的動(dòng)態(tài) 3D 高斯?jié)姙R（3DGS）渲染器，Spark 與當(dāng)前最流行的 Web 3D 框架 Three.js 集成，并基于 WebGL2 運(yùn)行，因此只要有瀏覽器，無(wú)論是桌面端、iOS、Android，還是 VR 設(shè)備，都可以使用。

在去年發(fā)布時(shí)，Spark 就帶來(lái)了不少其他渲染器沒(méi)有的能力：比如在同一場(chǎng)景中渲染多個(gè) 3DGS 對(duì)象、實(shí)時(shí)編輯與重光照，以及一個(gè)著色器圖系統(tǒng)讓用戶(hù)可以基于 splat 創(chuàng)建完全動(dòng)態(tài)的特效和動(dòng)畫(huà)。

而在 Spark 2.0 中，團(tuán)隊(duì)加入了一個(gè)細(xì)節(jié)層級(jí)（LoD）系統(tǒng)，可以在任意設(shè)備上流式加載并渲染超大規(guī)模的 3DGS 世界。當(dāng)你在場(chǎng)景中移動(dòng)時(shí)，Spark 會(huì)根據(jù)當(dāng)前視角自動(dòng)調(diào)整 3DGS 的細(xì)節(jié)等級(jí)，并通過(guò)網(wǎng)絡(luò)按需加載所需數(shù)據(jù)。我們先來(lái)看以下幾個(gè)場(chǎng)景的展示圖：

接著來(lái)看技術(shù)細(xì)節(jié)。

Spark 2.0 提供了一整套解決方案，用來(lái)在 Web 上為各類(lèi)設(shè)備準(zhǔn)備、傳輸并渲染超大規(guī)模的 3DGS 場(chǎng)景。為了解決規(guī)模化帶來(lái)的挑戰(zhàn)，它主要用了三類(lèi)圖形學(xué)和系統(tǒng)層面的技術(shù)：

• Level-of-Detail（細(xì)節(jié)層級(jí)）：為 splat 生成不同分辨率的版本，并根據(jù)當(dāng)前相機(jī)視角決定實(shí)際渲染哪一部分。當(dāng)對(duì)象距離較遠(yuǎn)、細(xì)節(jié)難以分辨時(shí)，就減少渲染的 splat 數(shù)量，從而提升性能。
• 漸進(jìn)式流加載（Progressive Streaming）：隨著數(shù)據(jù)下載，從粗到細(xì)逐步加載 3DGS 的細(xì)節(jié)內(nèi)容，并優(yōu)先加載那些最能提升當(dāng)前視角清晰度的數(shù)據(jù)。
• 虛擬內(nèi)存（Virtual Memory）：在 GPU 中分配一塊固定大小的內(nèi)存池，用作 splat 的頁(yè)表，根據(jù)場(chǎng)景中的位置，自動(dòng)換入和換出所需的 3DGS 數(shù)據(jù)塊。這樣一來(lái)，就能訪(fǎng)問(wèn)跨多個(gè) 3DGS 對(duì)象、通過(guò)網(wǎng)絡(luò)獲取的海量數(shù)據(jù)。

細(xì)節(jié)層級(jí)（LoD）高斯 splat 樹(shù)

Spark 的 LoD 設(shè)計(jì)采用的是連續(xù) LoD 方法，即所有 splat 都被組織在一個(gè)層級(jí)結(jié)構(gòu)中，也就是一棵 LoD splat 樹(shù)。Spark 會(huì)在這棵樹(shù)上選擇一條「切面」，從中逐個(gè)挑選 splat，使當(dāng)前視口中的細(xì)節(jié)達(dá)到最優(yōu)。

在這棵樹(shù)里，每一個(gè)內(nèi)部節(jié)點(diǎn)，都是由其子節(jié)點(diǎn)合并得到的低分辨率版本：通過(guò)把多個(gè)子 splat 合成為一個(gè)新的 splat，用來(lái)近似它們整體的形狀和顏色。這個(gè)過(guò)程不斷向上遞歸，直到樹(shù)的根節(jié)點(diǎn)，也就是：一個(gè)單一的大 splat 匯總了整個(gè)對(duì)象中所有 splat 的整體形狀與顏色。

Spark 2.0 提供了兩種用于生成 LoD splat 樹(shù)的算法：

• 一種輕量且速度更快的算法，叫做 Tiny-LoD，在 Web 端默認(rèn)使用；
• 一種質(zhì)量更高的算法，叫做 Bhatt-LoD，在命令行環(huán)境中默認(rèn)使用。

這兩種方法都「無(wú)需訓(xùn)練」，不依賴(lài)參考圖像或其他輸入數(shù)據(jù)，而是直接基于 3DGS 數(shù)據(jù)本身進(jìn)行處理。

漸進(jìn)式流

Spark 2.0 定義了一種新的文件格式 .RAD（Radiance fields），用于壓縮 3DGS 數(shù)據(jù)，并支持在網(wǎng)絡(luò)傳輸過(guò)程中進(jìn)行隨機(jī)訪(fǎng)問(wèn)，實(shí)現(xiàn)逐步細(xì)化的流式加載。

在加載初期，3DGS 對(duì)象會(huì)以一個(gè)大約 6.4 萬(wàn) splat 的粗略版本幾乎瞬間呈現(xiàn)出來(lái)。隨后系統(tǒng)會(huì)分塊獲取數(shù)據(jù)，優(yōu)先細(xì)化當(dāng)前畫(huà)面中最粗糙、最需要提升細(xì)節(jié)的 LoD splat，并隨著用戶(hù)在場(chǎng)景中的移動(dòng)動(dòng)態(tài)調(diào)整加載優(yōu)先級(jí)。

虛擬內(nèi)存

虛擬內(nèi)存是一種內(nèi)存管理技術(shù)，通過(guò)一小塊固定的「物理內(nèi)存」，來(lái)提供對(duì)海量虛擬內(nèi)存的訪(fǎng)問(wèn)能力。系統(tǒng)通過(guò)頁(yè)表，將虛擬地址與物理內(nèi)存中的固定大小頁(yè)進(jìn)行映射。

Spark 2.0 將這一機(jī)制引入到 3DGS 中，在 GPU 上分配一個(gè)固定容量（約 1600 萬(wàn) splat）的內(nèi)存池，并自動(dòng)管理 GPU 中 64K splat 的「頁(yè)」與 .RAD 文件中對(duì)應(yīng)的 64K 數(shù)據(jù)塊之間的映射關(guān)系。

數(shù)據(jù)塊會(huì)按照 LoD 遍歷順序加載進(jìn)空閑頁(yè)中；當(dāng)頁(yè)表已滿(mǎn)時(shí)，如果有新的、更高優(yōu)先級(jí)的數(shù)據(jù)需要加載，就會(huì)按照「最近最少使用」（LRU）的策略，把優(yōu)先級(jí)較低的舊數(shù)據(jù)塊替換出去。

更多技術(shù)細(xì)節(jié)請(qǐng)參考博客原文。

博客地址：https://www.worldlabs.ai/blog/spark-2.0