NVIDIAは最近、高品質な画像および動画の再ライティングおよびアンダーライティングを実現する新しいビデオ拡散フレームワークであるCosmos DiffusionRendererをリリースしました。この技術は、NVIDIAの従来のDiffusionRendererメソッドの大きなアップグレードであり、改善されたデータ計画プロセスにより、より高品質なレンダリング効果を実現しています。

image.png

Cosmos DiffusionRendererを使用するには、いくつかの基本的なインストール要件を満たす必要があります。それはPython3.10および少なくとも16GBのVRAMを備えたNVIDIA GPUです。推奨されるのは少なくとも24GBのVRAMを持つグラフィックカードです。また、NVIDIAドライバとCUDA12.0以上をインストールし、少なくとも70GBの空きディスク容量があることを確認する必要があります。

image.png

ユーザーは、「cosmos-predict1」という名前のconda環境を作成し、関連する依存関係パッケージをインストールすることで設定できます。インストールが完了した後、モデルの重みをダウンロードする必要があります。これらの重みはHugging Faceから取得できます。ダウンロード後、ユーザーは推論を開始し、DiffusionRendererを使用して画像のアンダーライティングおよび再ライティング処理を行うことができます。

画像の推論では、ユーザーはすでにトレーニングされた逆レンダリングモデルを使用して、入力画像から基本的な色、ノーマル、深度などのGバッファ情報を抽出できます。コマンドライン操作を通じて、特定のフォルダにある画像を簡単に処理し、結果を指定された出力フォルダに保存できます。

逆レンダリングが完了した後、ユーザーはフォワードレンダラーを使用して画像の再ライティング処理を行うことができます。この際、ユーザーはカスタムの環境照明マップを選択してレンダリングを行い、さまざまな再ライティング効果を生成できます。

ユーザーが動画を処理したい場合、まず動画内のフレームを抽出し、その後各フレームに対して順番に逆レンダリングと再ライティング処理を行います。このプロセスは複数の環境光源の選択をサポートしており、それに応じた再ライティング動画を生成できます。

Cosmos DiffusionRendererは、ユーザーに非常に高い柔軟性と創造性を提供すると同時に、レンダリング品質を著しく向上させています。この技術の登場は、ビデオレンダリング技術における新たな重要な進展を示しており、今後さまざまなビジュアルエフェクトの制作で重要な役割を果たすことが期待されています。

プロジェクト:https://github.com/nv-tlabs/cosmos1-diffusion-renderer

ポイント:  

🌟 この技術はNVIDIAの従来のDiffusionRendererの大幅なアップグレードであり、より高品質な画像および動画レンダリングを提供します。  

💻 ユーザーはPython3.10および少なくとも16GBのVRAMを備えたNVIDIA GPUをインストールし、関連するconda環境を作成する必要があります。  

🎥 画像および動画のアンダーライティングおよび再ライティング処理をサポートし、さまざまな環境照明マップを使用してレンダリングが可能です。