“世界”真能裝進(jìn)手機(jī)了?
4月15日,李飛飛旗下空間智能公司W(wǎng)orld Labs發(fā)布并開源Spark 2.0渲染引擎。這是其“世界模型”戰(zhàn)略的最新落地成果,讓AI生成的3D世界,能在任何設(shè)備的瀏覽器里跑起來。
所謂“世界模型”,是李飛飛一直推動的AI方向:讓機(jī)器理解并模擬真實(shí)的三維物理世界,而非僅僅處理文字和圖像。Spark 2.0正是這個世界模型拼圖中的“交付層”。解決AI生成的大尺度3D內(nèi)容“怎么讓人看到”的問題。
3D高斯?jié)姙R技術(shù)通過數(shù)百萬個半透明彩色橢球體還原真實(shí)場景,無需傳統(tǒng)建模。但一個高質(zhì)量掃描場景動輒4000萬個點(diǎn)云,手機(jī)通常只能處理100萬到500萬個。Spark 2.0用三項(xiàng)技術(shù)解決了這對矛盾:連續(xù)LoD細(xì)節(jié)層級讓設(shè)備只渲染“夠用”的點(diǎn)云數(shù)量;新.RAD格式實(shí)現(xiàn)漸進(jìn)式流加載,打開網(wǎng)頁先見輪廓再逐步細(xì)化;GPU虛擬內(nèi)存讓多個場景共享顯存池。
這個引擎前身是World Labs內(nèi)部工具。團(tuán)隊(duì)發(fā)現(xiàn)市面渲染器要么只支持單對象,要么依賴尚未普及的WebGPU,于是決定自己造一個。去年Spark 1.0解決了多對象共存問題,2.0則攻克了手機(jī)跑不動大場景的硬骨頭。
目前已有落地案例。Webby獎得主James C. Kane用Spark 2.0開發(fā)了太空射擊游戲Starspeed,整個場景由超1億個點(diǎn)云構(gòu)成,瀏覽器直接運(yùn)行。藝術(shù)項(xiàng)目《Dormant Memories》將真實(shí)地點(diǎn)3D掃描與虛構(gòu)空間并置。
值得注意的是,Spark 2.0與World Labs的AI創(chuàng)作平臺Marble深度綁定。用戶可在Marble中用文字或圖片生成3D世界,再用Spark渲染成可分享的網(wǎng)頁鏈接。這意味著從“AI生成世界”到“普通人交付世界”的閉環(huán)已經(jīng)跑通。
有網(wǎng)友評論:“李飛飛這是要把‘世界’做成一個文件格式啊,以后分享旅行不是發(fā)照片,是發(fā)一個.RAD鏈接,朋友點(diǎn)進(jìn)去就能在你站過的地方散步。”“一個鏈接就是一座城市,這才是世界模型該有的樣子。”也有開發(fā)者調(diào)侃:“上次她說空間智能是AI的下一個前沿,我以為是畫餅。現(xiàn)在手機(jī)都能跑億級粒子了,這餅是真烙出來了。”
李飛飛在社交平臺表示:“能為基于網(wǎng)頁的3D高斯?jié)姙R渲染開源生態(tài)貢獻(xiàn)力量,我深感自豪。”
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.