在具身智能領域，“Sim2Real”（從仿真到現實）一直是繞不開的難題，不僅仿真環境搭建成本高昂，模型遷移到現實世界時也常出現性能折損。近日，由李飛飛團隊聯合英偉達GEAR實驗室、佐治亞理工大學等多家機構共同發佈的一項全新研究，爲這一困境提供了新的破局思路:Real2Sim。

這項被稱爲“SimFoundry”的系統，通過一段真實世界的視頻，即可自動生成一個具備交互能力、可進行訓練與評測的機器人仿真環境。與傳統的3D場景重建不同，SimFoundry實現了對真實世界的深度解析與重構，通過自動化技術大幅降低了仿真環境的搭建門檻。

image.png

SimFoundry的核心創新在於“數字孿生”與“數字表親”的閉環構建。首先，系統通過提取視頻信息，解析出場景中的物體幾何結構、物理屬性及交互功能，構建起高精度的“數字孿生”。在此基礎上，系統能夠自動調整物體的外觀、形態、場景佈局甚至操作任務，生成海量的“數字表親”。這意味着，開發者僅需一段真實視頻，就能獲得幾乎無限的訓練數據，從而讓機器人在仿真中完成從策略學習到自動評測的全過程。

實驗數據顯示，SimFoundry展現出了卓越的預測能力，其在仿真中評測出的機器人表現，與真實世界的實際結果具有極高的一致性。更重要的是，基於這些自動生成數據訓練出的機器人策略，能夠實現“零樣本”遷移，在多步操作、雙臂協作等複雜任務中表現優異。

這一研究由多位機器人領域的權威學者共同署名，包括英偉達GEAR實驗室的核心研究者及李飛飛團隊成員。隨着該系統的開源與應用，具身智能機器人的開發流程有望迎來重大變革——不再依賴昂貴的人工採集與建模，而是通過生成式技術，讓機器人更快地從實驗室走向真實世界。

論文地址:https://arxiv.org/pdf/2606.28276v1