生数科技がVidu S2を正式リリース、リアルタイム編集、ダイナミックな参照画像、ヘッドマウントディスプレイ対応をサポート

生数科技は9月15日に新しいVidu S2ビデオ大規模モデルシリーズを正式に発表しました。今回の発表されたVidu S2には、継続的なインタラクティブなデジタルキャラクター生成向けのVidu S2-Avatarと、入力ビデオストリームに対してリアルタイム編集を行うVidu S2-Editingという2つのコアモデルが含まれています。さらに、生数科技はVRヘッドセット向けのリアルタイム空間ビデオ生成と編集能力にも探求を進めました。この全工程の開発は、朱軍教授の博士課程学生であり、生数科技の流式ビデオ生成と推論の責任者である張金涛が担当しました。

モデルの特徴に関しては、Vidu S2-Avatarは音声による継続的な制御からより高いインタラクティブな自由度への飛躍を実現しています。ユーザーがキャラクターの画像をアップロードすると、テキストまたは音声でモデルと対話することができます。モデルは会話中の表情や姿勢をサポートするだけでなく、ダンスなどの大幅な動作の指示に応じる能力も強化されています。さらに重要なのは、動画ストリーム中に任意のタイミングでアイテム、衣装、または背景参照画像を動的に追加でき、キャラクターがカップを手に取ったり、指定された衣装を着替えたり、新しいシーンに入るようなことができます。また、モデルは視覚フィードバックメカニズムを導入し、「カップを持って笑う」などの連続した動作と状態の信頼性を確保しています。さらに、S2-Avatarはリアルタイム出力解像度を前世代の540Pから720Pに向上させました。

Vidu S2-Editingは、継続的なビデオストリームを受け取り、テキストの指示およびオプションの参照画像に基づいてリアルタイムで編集することを専門としています。これにより、人物が手を上げたり、体を回転させたり、カメラが移動したりするときに画面が自然に変化します。現在、このモデルは主に4つのタスクをサポートしています。第一にスタイルの移行で、人物の輪郭、ポーズ、およびシーンの配置を維持しながら、画の筆触と色調を変更します。第二に仮想試着で、参照用の服をビデオの人間に移して、服の境界、素材の質感、および肢体の遮蔽関係を正確に処理します。第三に人物の置き換えで、参照用のキャラクターの顔、髪型、服、外見全体をソースビデオに移し、元のポーズと運動を保持します。第四に背景の置き換えで、参照画像を使って環境を変更し、人物が常に動き続ける間でも安定した空間関係を保ちます。

空間ビデオの探索において、Vidu S2はAvatarのリアルタイム出力を空間ビデオ変換プロセスに接続し、同期した左右の目視図を生成します。Editingは、通常の単眼ビデオを編集して空間ビデオに変換するか、または既存の空間ビデオを直接編集することができ、どちらのモードでも上記の4つの編集タスクをサポートし、関連結果をVRヘッドセットにストリーミングできます。

下位技術の選択において、Vidu S2はいくつかの重要な技術革新を実施しました。まず、Self-Replay Forcing（SRF）トレーニング方法を提案しました。モデルは長く自生成されたトレースを生成し、その中から連続したセグメントをサンプリングして再度ノイズを加え、伝播可能な勾配を持つ因果的再放送トレーニングを行います。これにより、小さな誤差の蓄積によって生じるアイデンティティのずれや動作の断絶を効果的に回避できます。次にデータ処理においては、ダンスビデオの動作の豊かさと画面の安定性を考慮し、イベント順序説明のビデオラベリングと好みの報酬最適化を採用しています。同時に、S2-AvatarはVLMエージェントを視覚フィードバックとして導入し、動作の完了をチェックし、後続のプロンプトを調整します。性能と効率の最適化では、軽量なワンステップRefinerを採用し、高解像度の詳細を復元し、TurboDiffusionとTurboServe技術を組み合わせて計算コストを低減し、各モジュールが時間線を共有してスケジューリングできるようにしています。

公開および専門的な評価において、Vidu S2は優れた総合性能を示しました。StreamAV-Benchの評価では、S2-Avatarは視覚と音声品質、音声と映像の整合性、主体と背景の一貫性などの9項目で最良の成績を収めました。ビデオ編集に関しては、S2-EditingはOpenVEとRefVIEの共同評価で4.26点を取得し、Sparkle-Benchでのすべての指標が最良であり、ViViDの仮想試着テストおよび複数の専門的な人間の好み比較において、他のモデルを大きく上回りました。

今後の計画について、生数科技は空間ビデオがまだ固定視点の探求段階にあると述べ、ヘッドセットでクリアな画質を保ちながら遅延をさらに低減し、パノラマ空間ビデオを探求することが次の主要な課題になると語りました。