最近、アリババクラウドは通義万相の新規な動作生成モデル「Wan2.2-Animate」のオープンソースを正式に発表しました。このモデルの登場により、動画コンテンツ制作、ダンステンプレート生成、アニメ制作などの分野で大きな利便性がもたらされます。ユーザーはGitHub、HuggingFace、魔搭コミュニティから簡単にモデルと関連コードをダウンロードでき、またアリババクラウドの百煉プラットフォームでAPIを呼び出したり、通義万相の公式サイトで直接このモデルの強力な機能を体験することもできます。

image.png

「Wan2.2-Animate」モデルは以前の「Animate Anyone」モデルを基盤として全面的なアップグレードを行った成果です。人物の一貫性や生成品質などにおいて大幅に向上しています。このモデルは主に2つの応用モードをサポートしています：動作模倣とキャラクター役割プレイ。動作模倣モードでは、ユーザーは1枚のキャラクター画像とリファレンス動画を入力するだけで、動画内のキャラクターの動作や表情をユーザーが提供した画像のキャラクターに移すことができ、キャラクターの動的な表現を実現します。一方、キャラクター役割プレイモードでは、元の動画の動作、表情、環境を保持した上で、動画内のキャラクターをユーザーが提供したキャラクターに置き換えることができます。

生成効果を向上させるために、通義万相チームは大規模な人物ビデオデータセットを構築し、話すこと、顔の表情、身体の動きなどの要素をカバーし、その後、通義万相図生ビデオモデルを使用してトレーニングを行いました。「Wan2.2-Animate」の設計により、キャラクター情報、環境情報、動作などが統一された形式に正規化され、両方の推論モードに互換性があります。身体の運動と顔の表情に対して、モデルはそれぞれ骨格信号と暗黙の特徴を用い、動作再方向化モジュールと組み合わせて、高精度な動作と表情の復刻を実現しています。さらに、完璧な照明効果を保証するために、チームは特別に独立した照明融合LoRAを開発しました。

実際の応用において、「Wan2.2-Animate」の性能も非常に目覚ましいものです。動画生成品質、主体の一貫性、知覚損失などの主要指標において、「Wan2.2-Animate」はStableAnimatorやLivePortraitなどの多くのオープンソースモデルを上回り、現在最もパフォーマンスの高い動作生成モデルとなっています。特に、ユーザーの主観評価においては、Runway Act-twoなどの非公開モデルをも上回る結果を示しています。

この新しいモデルのオープンソース化により、関連分野の発展が大きく促進され、クリエイターたちがより簡単に高品質な動的コンテンツを作成できるようになります。

ポイント：  

🌟 ** 新モデルオープンソース **: アリババクラウドの「Wan2.2-Animate」モデルが正式にオープンソースとなり、ユーザーは複数のプラットフォームからダウンロードおよび体験できます。  

🎭 ** 2つのモード **: 動作模倣とキャラクター役割プレイをサポートし、動的な表現力と置き換え能力を向上させます。  

🚀 ** 性能優秀 **: 複数の主要指標において既存のオープンソースモデルを上回り、動作生成分野におけるトップモデルとなっています。