港大、哈工大、浙大聯合推出可解耦 3D 模型技術OmniPart，重塑創意設計

近日，中國香港大學、哈爾濱工業大學和浙江大學的研究團隊聯合發佈了一項名爲 “OmniPart” 的創新技術。這項技術致力於解決當前主流3D 生成模型在構建細節方面的不足，使得生成的3D 模型不僅外觀逼真，而且具備清晰的部件結構。

現有的3D 生成模型如 DreamFusion 和 TRELLIS 等，儘管能夠生成看似完整的3D 形狀，但缺乏內在的零件結構，難以滿足細節修改的需求。例如，在調整一個3D 角色的手臂或機械裝置的齒輪時，使用這些模型就會顯得十分棘手，因爲它們無法提供對零件級別的精準控制。爲了解決這一問題，OmniPart 的提出便是爲了實現部件之間的獨立性，同時又能形成一個合理的整體。

OmniPart 採用了一種創新的兩階段生成框架。第一階段是結構規劃，通過自迴歸模型與靈活的2D 部件掩碼，規劃出3D 部件的空間佈局。自迴歸模型會根據已有的序列信息逐步生成各個部件的邊界框，邊界框的生成既靈活又高效。爲了確保生成的邊界框能夠覆蓋對應的物體部件，OmniPart 還設計了一種新穎的部件覆蓋損失函數，從而提升生成效果。

在第二階段，OmniPart 則根據第一階段生成的部件佈局，利用預訓練的整體3D 生成器 TRELLIS 高效生成所有部件的高質量3D 表示。該階段特別關注每個部件的語義感知和整體結構一致性，以確保生成的部件在語義上是獨立的，而在結構上又能夠緊密相連。此外，OmniPart 還引入了一種體素丟棄機制，進一步提升了模型的準確性與效率。

這一技術的推出，標誌着3D 建模領域的一次重要進步，有望在遊戲開發、動畫製作等多個創意領域廣泛應用。

項目:https://omnipart.github.io/

劃重點:

🌟 OmniPart 技術實現了3D 模型部件的獨立性，使得創意設計更加靈活。  

🔍 採用自迴歸模型與部件掩碼的兩階段生成框架，提升3D 建模的精確度。  

🚀 創新機制如體素丟棄，增強了模型在複雜場景中的應用效果。