JD.comは、自社開発のリアルタイムストリーミング動画編集モデル「JoyAI-Video-Edit」をオープンソース化することを発表しました。ユーザーは動画を視聴しながら人物や背景を編集できるため、動画制作が「素材をまず作ってから編集する」形から「リアルタイムで対話的に編集する」形へと変化します。JD.com公式は、ストリーミングリアルタイム動画編集分野において、このモデルが業界内の代表的なモデルと比較してすべての指標で優れていると述べており、世界トップレベルの水準に達しています。

image.png

リアルタイムストリーミング動画編集の第一歩は速度の問題です。動画は連続した画像フレームから構成されており、モデルの処理速度が再生速度に追いつかない場合、カクつきや遅延が発生します。JoyAI-Video-Editは、完全自社開発のJoyAI-Videoモデルを基盤として、720P解像度で1秒間に30フレームのモデル推論速度を実現しており、高い画質を維持しつつ、一般的な映画やビデオの再生ペースに追従できます。

動画の長さもストリーミング編集のハードルの一つです。これまでストリーミング編集モデルは数秒または数分程度のセグメントしか扱えませんでしたが、JoyAI-Video-Editは任意の長さの安定したストリーミング編集をサポートしており、動画が継続的に再生され続けるにつれて、処理も継続されます。ユーザーは動画全体が生成されるのを待たずに、再生中にシーンを編集したり、物を置き換えたり、人物の姿を調整したり、画面のスタイルを変更したりすることができます。「見ながら作る」ということが可能になります。

権威ある評価で総合首位を獲得し、4つの編集タスクでの優位性が顕著

モデルの能力を評価するために、研究チームはJoyAI-Video-EditをSANA Streaming、LiveEdit、Xmax-X2.0などの国際的な代表的なストリーミング動画編集モデルと比較しました。その結果、典型的な動画編集シナリオをカバーする評価データにおいて、JoyAI-Video-Editの全体的な効果は全面的に優れています。

業界で権威あるOpenVE-Benchという汎用的な評価において、このモデルは現在のすべてのストリーミング編集方法を上回り、全体的なスタイル、局所的な置換、局所的な削除、字幕編集などのタスクにおいて特に優位性を示しており、業界内での同種モデルに対して大幅にリードしています。具体的な応用例では、クリエイターが動画中の人物が続けて服を着替えることができたり、ライブ配信で普通の街をアニメの世界に変えることができたり、住宅デザインにおいてさまざまな家具、壁や照明効果を試すことができます。

動画創作だけでなく、ロボットの「大量生産」トレーニングデータにも利用可能

注目すべき点は、JoyAI-Video-Editが身体知能データの大量合成に新たな技術的アプローチを提供していることです。ロボットのトレーニングには大量の物体の把持、運搬、操作に関する動画が必要ですが、本機器のデータ取得にはコストがかかり、危険な場面や珍しい状況では繰り返しデータ取得が困難です。

シーン、物体、画像内容に対する制御可能な編集能力を活かし、JoyAI-Video-Editは人間による操作動画をロボットアームや機械手の操作素材に変換し、物体の位置、空間関係、動作軌跡を保持したまま、シーンや物体、ロボットの形状を置き換えることができます。これにより、一度の動画から多くのトレーニングサンプルを拡張することが可能です。動画制作からロボットのトレーニングデータの合成まで、このモデルのオープンソース化は複数の分野に新たな可能性を開くことになるでしょう。