在剛剛結束的 CES 展會上,Stability AI 宣佈推出一種名爲 SPAR3D(Stable Point Aware3D)的創新方法,這種兩階段的3D 生成技術能夠在不到一秒的時間內,從單個圖像中生成精確的3D 對象。該技術的推出爲遊戲開發者、產品設計師和環境構建者提供了全新的3D 原型設計方式。

image.png

SPAR3D 的獨特之處在於,它能夠分別建模可見部分和不可見部分。在生成3D 對象時,該方法提供了準確的幾何形狀及完整的360度視圖,包括物體背面的細節。用戶還可以通過實時編輯功能,對生成的3D 對象進行直接修改,如刪除、複製、拉伸和重新着色點雲,大大提高了操作的靈活性和創意空間。

image.png

SPAR3D 的工作流程可以分爲兩個階段。第一階段採用輕量級點擴散模型生成稀疏的3D 點雲,樣本提取速度極快;第二階段則利用這些點雲和輸入圖像來構建高細節的網格模型。這樣的設計不僅提高了計算效率,還保證了輸出質量,克服了傳統單圖像3D 重建方法的侷限。

在性能測試中,SPAR3D 在 GSO 和 Omniobject3D 數據集上表現出色,優於現有的多種最先進的算法。研究團隊通過多項實驗驗證了該技術的有效性,尤其是在處理圖像遮擋和細節重建方面的優勢。SPAR3D 採用顯式的點雲作爲中間表示,使得用戶能夠對3D 模型進行進一步編輯,提升了用戶體驗。

SPAR3D功能總結主要有以下幾點:

實時生成能力

快速生成:能夠從單張圖像中生成完整的3D 對象結構,生成時間不足一秒。

高效編輯 :編輯後的點雲轉換爲最終網格的速度僅爲0.3秒。

 先進的編輯功能

點雲編輯 :用戶可直接對點雲進行操作,包括刪除、複製、拉伸和添加特徵。

 重新着色 :提供對3D 模型顏色的調整功能,增強創作靈活性。

 精確的結構預測

 完整結構預測 :能夠提供準確的幾何形狀和詳細的360度視圖預測,包括隱藏區域。

 高分辨率輸出 :通過三平面變換器生成高分辨率的三平面數據,捕捉圖像的紋理和光照。

開放的使用政策

廣泛的應用許可 :支持商業和非商業用途,用戶可在多個平臺上獲取和使用該模型。

開發者友好 :可通過 Hugging Face 下載權重,獲取代碼在 GitHub 上使用,或通過 API 訪問。

官方介紹:https://stability.ai/news/stable-point-aware-3d

劃重點:

🌟 SPAR3D 能夠在一秒內從單張圖像生成精確的3D 對象,並支持實時編輯功能。  

🔍 該技術採用兩階段的方法,分別生成點雲和高細節網格,提高了計算效率和輸出質量。  

🚀 SPAR3D 在多個數據集上優於現有的3D 重建算法,展示了出色的性能與用戶編輯能力。