音声AIが何時間にもわたる数十ラウンドに及ぶ本物の会話に巻き込まれたとき、果たして「この言葉を誰が言ったのか、どんなトーンで言ったのか、背景にはどのような音があるのか」を記憶できるのだろうか。メルボルン大学とニューサウスウェールズ大学の共同チームは、現在の評価方法ではこの問いに答えられないと考え、その弱点を突くための新しい基準VoxMemを開発した。

彼らは従来の評価システムの2つの大きな欠点を指摘した。一つ目は、音声の中にある身元情報や感情のヒント、環境音などの情報をすべて無視して、文字起こしされた内容だけを見ていること。二つ目は、「歴史がどれだけ長いか」という変数を単独で見ることができず、モデルの性能が悪いのは記憶力の問題なのか、長さの影響なのかよく分からないことだ。VoxMemのアプローチは、「音響的証拠 × 記憶操作」の二次元分類法を構築することであり、考察の次元を直交的に分解し、15種類の組み合わせをカバーする。また、すべての問題文は8Kから64Kまでの異なる歴史長さでも変化せず、つまり「会話の長さ」だけを調整し、それ以外はすべてロックすることで、記憶効果の変化を長さに直接帰因できるようにしている。

この基準の規模は大きい。評価インスタンスは3196個、音声会話は34743個、合計で約177時間の音声があり、長い複数ラウンドの会話を模倣するのに十分である。そして、15の主要な音声大規模モデルに対する実験結果はかなり厳しいものだった。32Kのコンテキスト長さにおいて、すべてのモデルの全体的な正確率は40%を越えなかった。さらに注目すべきは、偏りのある傾向である。モデルは「何を言ったか」の意味記憶に関しては明らかに強かったが、話し手の身元や副言語の手がかり（トーンや感情）、環境音という3つの音声固有情報の記憶は弱かった。特にトーンの変化や背景音の変化を追跡する正確率は極めて低く、ほぼ見当違いの状態だった。また、歴史長さが増すにつれて、すべての情報の記憶正確率は下がっていった。

チームはこれに基づいて結論付けた。「現在の音声大規模モデルの音声記憶のブレーキは、『識別・位置指定・情報の関連付与』のこれらのステップにあるのではなく、推論操作そのものではない。言い換えれば、モデルは考えられないわけではないが、『誰がいつ、どの方法で何と言ったか』という基本的な事実さえも把握できていないので、上位の推論は不可能になるのだ。VoxMemという基準は、音声AIの体温測定でより細かい体温計を使い、業界が長期にわたり文字起こしによって隠されてきた事実に向き合うことを迫るものだ。つまり、言葉を理解しても、人間やトーン、そして全体の世界を記憶できるとは限らないということだ。