人工知能がリアルタイム対話へと進化する波の中で、京东（JD.com）はその核心的な成果である「リアルタイム動画ビジュアル言語インタラクションモデル JoyAI-VL-Interaction」を正式にオープンソース化しました。世界初のエンドツーエンドオープンソースのインタラクティブビジュアルモデルとして、このシステムはvLLM-Omniの深いサポートを受け、AIアシスタントが従来の「受動的な応答」から「見ながら話す」自律的な観察モードへと転換したことを示しています。

過去にはユーザーからの質問を待ってから画像処理を開始する遅延モードでしたが、JoyAI-VL-Interactionは非常に積極的です。このモデルはビデオストリームを継続的に観察する能力を持ち、いつ交流に介入すべきか、いつ沈黙すべきかを知的判断により行い、インタラクションにおいてより自然でスムーズな体験を提供します。

image.png

このようなリアルタイム対応能力の向上は、動的な情報を処理する上で極めて重要です。従来の動画理解技術は「まずアップロードし、その後分析する」というプロセスに制限されており、リアルタイム性が求められる監視やライブ解説、操作ガイドなどの場面ではしばしばニーズに応えられません。JoyAI-VL-Interactionは進行中のビデオストリームに対して即時処理を行うことができ、画像の変化と知的反応の同期を実現しています。

さらに技術的な特徴は、「バックグラウンド委任」メカニズムです。コード生成や複雑な推論、ツール呼び出しといった高難度タスクに対応する際、モデルはタスクをバックエンドのエージェントシステムに振り分けることができ、フロントエンドモデルは現場のリアルタイム観察を維持します。このような「観察とインタラクション」を並行して行うワークフローにより、AIアシスタントは複雑な論理処理を行いつつも、ユーザーとのシームレスなコミュニケーションを維持できます。

互換性と拡張性に関しては、このモデルはカメラ、ライブストリーム、およびさまざまな監視信号などの複数のビデオ入力源をサポートしており、開発者はビジネス上のニーズに応じてASR、TTS、長期記憶モジュールまたは外部APIインターフェースを柔軟に置き換えることができます。