科大訊飛は、Spark-Audio-1.0-Previewのリリースを発表しました。これは、国内産の計算力で訓練された音声基盤の大規模モデルです。

これまで、大規模モデルによる音声処理は主に連鎖的なアプローチを採用していました。つまり、まず音声をテキストに変換し、その後大規模モデルで理解するという方法でした。この方法には2つの明確な欠点があります。1つ目は情報の損失です。テキストは「何を話したか」だけを記録するため、音声に含まれるトーンや感情、背景音などの重要な情報を失い、モデルがシナリオを正確に判断できない可能性があります。2つ目は、音声認識、声紋認識、音声翻訳などの機能が独立したモジュールとしてつながれており、モジュール間の断点が生じやすく、誤りが累積しやすいため、体験上遅延やカクツキが起こることがあります。

image.png

転写だけでなく、直接音声を「理解する」

音声基盤の大規模モデルは、単なる音声からテキストへの変換にとどまらず、直接音声を理解します。一度で人声、環境音、音楽などを聞き取り、その中の意味、感情、そしてシナリオを理解できます。

今回のリリースされたSpark-Audio-1.0-Previewでは、0.65B（Dense構造）の音声エンコーダーを使用し、30B-A3B（MoE構造）の大規模言語モデルを組み合わせています。これにより、1,300万時間の音声データおよび大量のテキストデータに基づいて、純国産の計算集約でトレーニングされました。同じモデル内でテキストと音声の2つのモダリティを入力でき、音声変換、多言語翻訳、多数の方言認識、環境音認識、話者識別、感情分析、複雑な音声質問応答などのタスクをサポートします。これにより、機械は「聞こえる」ことから「理解する」ことへと進化しています。コンセプトとしては、スパーキング・スターフォースの「1+N」体系に似ており、音声基盤モデル上で微調整を行い、音声認識、音声通訳、音声インタラクションなどの専用モデルやシステムを開発することが可能です。

99言語、202方言に対応、複雑なシナリオでの優位性が顕著

公式によると、Spark-Audio-1.0-Previewはすべての音声評価タスクにおいて全体的に同等または一部で優れているとされ、特に高ノイズや小さな声といった現実的な応用に近いタスクにおいては明らかに優れています。また、よりサイズの大きい閉鎖型音声基盤モデルと比較しても、性能は非常に近いです。

このモデルは、99言語および202方言の認識をサポートしています。いくつかのタスクにおいて、同サイズのQwen3.5-omni-flash（35B-A3B）と比較して、多言語・多方言音声認識における平均的な効果に優位性を示しています。また、サイズが一個桁大きいQwen3.5-omni-plusと比べても性能はほぼ同等です。Fleurs、Kespeech、LibriSpeechなどの中英語・多言語・多方言音声認識評価テストにおいて、スコアがGemini-3.1 Proを上回り、Fleurs中国語テストセットではSOTAを達成しています。

科大訊飛は、今回のバージョンが一般的な知識、数学、コードなどのタスクにおいては明確な低下は見られないと認めていますが、指示の遵守、対話、音声理解などのタスクにおいてはさらに改善の余地があると述べました。今後は強みを強化しながら、弱みを補うことを目指す予定です。現在、Spark-Audio-1.0-Previewは正式に体験版として公開されており、APIは後日、科大訊飛オープンプラットフォームに登場する予定です。