如今，AI從單張圖生成3D模型的能力與日俱增，不僅能做出復(fù)雜的形狀，紋理也是越來越逼真。

但這里面仍然有個老大難問題，就是-保真度瓶頸。換句話說，就是AI生成的3D資產(chǎn)單看都挺好，卻和原圖“對不上號”，想要在像素級別上與原始圖像一致，仍是個巨大難題。

傳統(tǒng)技術(shù)大多是讓AI在標(biāo)準(zhǔn)的空間中生成形狀，并通過注意力機(jī)制注入圖像信息，這就導(dǎo)致平面圖片和立體模型之間的對應(yīng)關(guān)系非常模糊，容易丟失精細(xì)細(xì)節(jié)。

為了解決這一問題，清華大學(xué)、騰訊ARC實驗室以及惠靈頓維多利亞大學(xué) 三方聯(lián)合研發(fā)團(tuán)隊，提出了Pixal3D：一種用于從圖像創(chuàng)建高保真3D資產(chǎn)的像素對齊3D生成方法；不再在規(guī)范姿態(tài)下進(jìn)行生成，而是直接以像素對齊的方式生成3D資產(chǎn)，從而與輸入視圖保持一致。

今天咱們就來淺扒一下Pixal 3D的論文。

貢獻(xiàn)

·提出Pixal3D，一種像素對齊的3D生成范式，證明像素對齊生成在大規(guī)模上可行，同時大幅提高了圖像→3D資產(chǎn)的保真度。

·提出了射線反投影條件化機(jī)制，用顯式的2d-3d對應(yīng)關(guān)系替代交叉注意力，實現(xiàn)了直接的像素到3D特征提升，更忠實地保留圖像細(xì)節(jié)。

·通過簡單有效的多視圖特征體聚合，將Pixal3d從單視圖擴(kuò)展到多視圖生成。

·基于pixal3d提出了一個模塊化的3d場景生成流程，可以產(chǎn)生高保真、物體分離的3d場景。

『 相關(guān)工作 』

當(dāng)前主流的3D生成方法采用規(guī)范姿態(tài)生成形狀，通過交叉注意力注入圖像條件，這使得2D-3D對應(yīng)關(guān)系隱式模糊，模型必須“猜測”像素特征對應(yīng)3D的哪個部分，導(dǎo)致細(xì)節(jié)錯位和多視圖不一致。相比之下，3D重建通過顯式且無歧義的2D-3D對應(yīng)關(guān)系能夠以高保真度恢復(fù)可見表面，但輸出不完整，無法直接作為可用資產(chǎn)。

于是，3D生成式重建應(yīng)運(yùn)而生：在生成模型中融入重建約束，使輸出既忠實于輸入又能合理補(bǔ)全未觀測區(qū)域。而Pixal3D將融合推進(jìn)得更徹底，不是去“預(yù)測”對應(yīng)關(guān)系，而是通過反投影直接建立并強(qiáng)制執(zhí)行顯式2D-3D對應(yīng)關(guān)系，以像素對齊、視圖為中心的方式生成3D物體，從而避開了相機(jī)估計的脆弱性和規(guī)范姿態(tài)生成帶來的保真度損失，為高保真生成式重建提供了一個可擴(kuò)展的新基礎(chǔ)。

『 方法 』

Pixal3D用“反投影”技術(shù)讓3D模型和輸入圖像的每個像素一一對應(yīng)。不僅能用單張圖像生成高保真3D資產(chǎn)，還支持多視圖生成和模塊化場景級合成。

原則上，Pixal3D兼容任何具有顯式結(jié)構(gòu)的3D生成骨干。論文中，團(tuán)隊采用開源的最先進(jìn)模型Direct3D-S2作為基礎(chǔ)。

Direct3D-S2是一個稀疏體素隱擴(kuò)散框架，包含稠密和稀疏兩階段，各自配有VAE和DiT模型。原方法在兩個階段的DiT中都通過交叉注意力注入圖像條件，而Pixal3D保留了這一核心架構(gòu)，用像素對齊生成范式對其進(jìn)行了擴(kuò)展。

像素對齊的3D生成

規(guī)范姿態(tài) vs. 像素對齊生成

現(xiàn)有原生3D生成方法通常在規(guī)范姿態(tài)（物體正立于標(biāo)準(zhǔn)坐標(biāo)系）下操作，通過交叉注意力隱式建立2D-3D對應(yīng)，但可能會導(dǎo)致規(guī)范空間中多個3D位置對應(yīng)統(tǒng)一2D證據(jù)，模型往往依賴全局語義“作弊”，無法建立忠實的像素到3D映射。

Pixal3D改為了像素對齊生成：物體定義在輸入相機(jī)的坐標(biāo)系中，即“從相機(jī)看到的樣子”。3D體素與圖像視錐對齊，每個像素對應(yīng)唯一的相機(jī)射線，形成幾何上確定的2D-3D對應(yīng)關(guān)系，將對應(yīng)從學(xué)習(xí)到的隨機(jī)行為變?yōu)樵鷮嵉膸缀蜗闰灐?/p>

基于反投影條件的3D隱擴(kuò)散

基于上面提到的隱擴(kuò)散模型，但VAE編碼的是像素對齊的物體，使擴(kuò)散模型學(xué)會視圖依賴、像素對齊的生成。

先用DINOv2模型提取輸入圖像的特征圖，把特征圖里的每個像素，沿著它在現(xiàn)實世界中對應(yīng)的視線方向“投射”回3D空間，形成一條射線，所有射線合在一起就構(gòu)成一個從相機(jī)出發(fā)的“視錐”。

接下來，用一個可調(diào)節(jié)距離和大小的立方體框限定物體范圍，通過投影公式建立像素與體素的一一對應(yīng)。每個體素沿射線收集圖像特征，拼成“特征立方體”，直接作為擴(kuò)散模型的條件。訓(xùn)練時用真實相機(jī)參數(shù)；實際使用時固定視野，自動算出距離使四角射線穿過立方體背面頂點(diǎn)。同時再加入DINOv2提取的全局特征，提供整體語義指導(dǎo)。

為了讓細(xì)節(jié)更清晰，團(tuán)隊引入多尺度特征。DINOv2特征偏粗糙，缺少精細(xì)紋理，于是團(tuán)隊用一個放大模型將其提升到原圖分辨率，得到細(xì)節(jié)豐富的特征圖。反投影時，每個體素同時采樣粗、細(xì)兩種尺度的特征并取平均，以低成本大幅提升細(xì)節(jié)保真度。

多視圖擴(kuò)展

已知多視圖相機(jī)參數(shù)時，將每個視圖的多尺度特征反投影到3D空間，在每個體素內(nèi)簡單平均聚合，得到融合特征體作為條件。視圖越多，表面覆蓋越全，3D形狀越確定。

『 實驗 』

單視圖3D生成

團(tuán)隊在Toys4K數(shù)據(jù)集上，與TRELLIS、TripoSG、Hunyuan3D-2.1、Direct3D-S2等最先進(jìn)方法進(jìn)行了全面的定量和定性比較。

為精確評估保真度差異，在輸入圖像坐標(biāo)系下渲染生成網(wǎng)格的表面法線圖，并與真實法線圖進(jìn)行對比。基線方法采用真實相機(jī)姿態(tài)渲染。使用IoU（交并比）和PSNR（峰值信噪比）來評估法線圖的覆蓋率和逐像素差異，同時報告平均角度誤差、邊界處角度誤差，以及不同閾值下的準(zhǔn)確率等，所有計算均基于預(yù)測和真值重疊的區(qū)域。

鑒于Toys4K網(wǎng)格大多比較簡單，團(tuán)隊額外構(gòu)建了一個包含150張互聯(lián)網(wǎng)及AI生成圖像的測試集，包含復(fù)雜幾何細(xì)節(jié)與多樣語義。在這一測試集上（沒有真實相機(jī)姿態(tài)或法線圖），采用ULIP2和Uni3D來評估圖像-3D一致性，并開展了30人的用戶研究，對生成網(wǎng)格的保真度與整體質(zhì)量進(jìn)行1-5分評分。結(jié)果顯示，Pixal3D在保真度上優(yōu)勢顯著，在保持高質(zhì)量的同時能忠實還原圖像細(xì)節(jié)。

相比其他方法，Pixal3D更加精準(zhǔn)地恢復(fù)了輸入圖像的視覺內(nèi)容，同時生成了更高質(zhì)量的3D網(wǎng)格。尤其在精細(xì)細(xì)節(jié)的保真度上差異尤為明顯，依靠像素對齊設(shè)計，幾乎保留了所有圖像細(xì)節(jié)，達(dá)到了接近重建級別的保真度。

多視圖3D生成

在多視圖3D生成方面，團(tuán)隊在Toys4K數(shù)據(jù)集上使用倒角距離、推土機(jī)距離和F-score進(jìn)行評估（輸入視圖數(shù)量分別為2、4、6），與VGGT和TRELLIS多視圖版進(jìn)行了比較。

相比之下，Pixal3D的像素對齊設(shè)計能無縫處理多視圖輸入，保持跨視圖一致性。并且，隨著視圖數(shù)量增加，生成的不確定性逐漸下降，重建線索也會增強(qiáng)。

3D場景生成

Pixal3D在生成3D場景時，確保每個物體的3D模型都和輸入圖像的像素對齊，并通過深度圖等幾何線索規(guī)整空間一致性，讓生成的場景看起來更自然、協(xié)調(diào)，真實可靠。

本質(zhì)上，Pixal3D結(jié)合了重建與生成二者的優(yōu)點(diǎn)，提供一種簡單有效的方法，可以從單視圖或多視圖輸入，生成忠于原圖、完整的3D模型和場景。

為3D生成式重建打好了基礎(chǔ)，未來也許真的可以創(chuàng)建既有創(chuàng)意又能夠像素級還原的3D內(nèi)容了~

-今日互動-

聽說長得好看的人都給我點(diǎn)贊贊了