現代の技術の急速な発展の中で、AIと人間の対話はますます頻繁になってきていますが、従来のビデオ通話では遅延や映像のずれ、音声と映像の不一致といった問題がしばしば起こります。しかし、通義ラボが最新に公開したWan-Streamer v0.2は、これらの悩みを完全に解消し、550ミリ秒の応答遅延で、本当に「対面」のような自然なコミュニケーションを実現しました。

Wan-Streamer v0.2は、まったく新しいエンドツーエンドのマルチモーダル理解と生成モデルです。このモデルは、「聞く」「見る」「話す」「演じる」機能を1つのTransformerモデルに統合しており、AIが人間のようにリアルタイムで会話を感知し、対応できるようにしています。これにより、音声、テキスト、あるいは動画でも、AIは瞬時に理解し、適切なフィードバックを生成できます。

image.png

市場に出ている他のリアルタイムインタラクティブシステムと比べて、Wan-Streamerは応答速度において優れた性能を発揮しており、全体の遅延は0.55秒（ネットワーク伝送を含む）にとどまっており、ほとんどの既存の音声会話モデルよりもはるかに速いです。また、画質も大幅に向上しており、解像度は以前の192×336から640×368へと引き上げられ、シーンの細部がより明確に見えるようになりました。

この技術的突破は、独自のアーキテクチャ設計によって実現されました。従来のリアルタイムインタラクティブシステムは通常、連鎖的なパイプライン方式を採用しており、情報の伝達が遅く、同期がずれる問題が起こりやすいです。一方、Wan-Streamerは「ストリームユニット」という概念を取り入れており、ユーザー入力の認識、状態の更新、応答の生成などの操作を160ミリ秒ごとに完了することで、スムーズな対話が可能になります。

今回のバージョンでは、AIは単なる「浮遊する頭部」ではなく、感情や動作を自然に表現する全身のデジタルキャラクターとして機能します。あなたはAIの視線、姿勢、ジェスチャー、さらにはその周囲の環境を見ることができるでしょう。このような設計により、ユーザーはAIとの対話の中でよりリアルで親しみやすい体験を得ることができます。

さらに、Wan-Streamer v0.2の応用範囲は非常に広く、英語の練習、心理カウンセリング、教育支援、ゲームのNPCとの対話など、すべての「存在感」が必要な分野にわたっています。

総合的に見ると、Wan-Streamer v0.2はネイティブなストリーミングアーキテクチャと分散型推論の組み合わせにより、AIのコミュニケーション方法を人間同士の本物のやり取りに近づけています。この技術がどのようにさらに進化していくのか、今後の注目が集まります。