最近、バイトダンスは超低コストで効率的に表現力豊かでリアルなキャラクターアニメーションを作成することを目的とした、最新の肖像画アニメーション技術「X-Portrait2」を発表しました。ユーザーは静止画の肖像画と表情駆動ビデオを提供するだけで、X-Portrait2はビデオの表情を肖像画に転送してアニメーションビデオを生成します。これにより、従来のモーションキャプチャやキャラクターアニメーションの複雑なプロセスが簡素化されます。

この技術の中核は、大規模なデータセットでトレーニングされた高度な表情エンコーダーモデルです。このモデルは、入力されたわずかな表情を暗黙的にエンコードできます。強力な生成拡散モデルと組み合わせることで、X-Portrait2は滑らかで表現力豊かなビデオを生成し、俳優の微妙な表情、唇を突き出す、舌を出す、頬を膨らませる、眉をひそめるなど、難しい表情も伝えます。同時に、生成されたビデオは感情表現においても高忠実度を維持します。

表情エンコーダーのトレーニングにおいて、開発チームは外観と動作の強力な分離を確保し、エンコーダーがビデオの表情関連情報に集中できるようにしました。この設計により、モデルはスタイルや分野を超えた表情の転送を実現し、現実的なストーリーテリング、キャラクターアニメーション、仮想エージェント、視覚効果など、さまざまなシーンに適用できます。

既存の最先端の方法であるX-PortraitやRunway Act-Oneと比較して、X-Portrait2は、高速な頭の動き、微小な表情の変化、個人の感情の伝達において高い精度を示します。これらの側面は、アニメーションや映画制作におけるアニメーションコンテンツなど、高品質のアニメーションコンテンツ作成にとって非常に重要です。

アドレス：https://byteaigc.github.io/X-Portrait2/