最近、生数科技と清华大学のTSAIL実験室は、ビデオ生成を高速化するフレームワーク「TurboDiffusion」を共同で発表し、それをオープンソース化しました。この新しいフレームワークのリリースは広く注目を集め、多くの人々がビデオ生成技術に画期的な進展をもたらすことを期待しています。公式の説明によると、TurboDiffusionは生成品質にほとんど影響を与えずに、最大200倍のビデオ生成の推論速度向上を実現できます。

image.png

TurboDiffusionの核心的な技術的優位性は、ビデオ生成分野における重要な課題を突破した点にあります。従来のビデオ拡散モデルは強力な創造能力を持っていますが、計算複雑度が高く、効率が制限されているため、広く使用されていませんでした。TurboDiffusionは単なる最適化手段ではなく、モデル計算や注意機構から推論プロセスに至るまで、複数の先端技術を統合して全体的な速度向上を実現しています。

このフレームワークは、加速を実現するために多数のイノベーティブな技術を採用しています。例えば、低ビットのアテンション加速技術であるSageAttentionは、低ビットのTensor Core上でアテンション計算を無損失で高速化できます。また、疎行列-線形アテンション加速では、学習可能な疎行列アテンションSparse-Linear Attention（SLA）を使用し、SageAttentionよりも最大で17〜20倍のアテンションの疎性による高速化が可能です。さらに、TurboDiffusionは最新の蒸留方法rCMを導入しており、これによりモデルは3〜4ステップで高品質なビデオを生成できるようになり、生成速度が著しく向上します。

高品質な出力を維持しながら、TurboDiffusionはビデオ生成の速度を大幅に向上させ、高品質なビデオ生成がリアルタイムでのインタラクティブな範囲に近づいています。これはAIビデオ制作が「リアルタイム生成」の時代に入ることを示し、業界が技術探索期から規模化および商業化への段階へと加速的に進んでいることを意味しています。

TurboDiffusion:https://github.com/thu-ml/TurboDiffusion

ポイントを押さえて:

📈 TurboDiffusionフレームワークは、生成品質を保ちながら最大200倍のビデオ生成の高速化を実現しています。

🔍 イノベーティブな技術を採用し、低ビットアテンションや疎行列アテンションを通じて、ビデオ生成の効率を全体的に向上させています。

🚀 このフレームワークのオープンソース化は、ビデオ生成分野の研究と応用に新たな機会を提供し、「リアルタイム生成」の時代を示しています。