AI主権の新しい突破：ドイツ研究連合がオープンソース大規模モデルSoofi Sを発表

最近、ドイツ人工知能協会が調整した研究連合は、新たにオープンソースの大規模言語モデル「Soofi S30B-A3B」を正式に公開しました。この成果は、ヨーロッパにおける主権的なAIインフラストラクチャの重要な進展を示すだけでなく、高性能かつ高効率なオープンソースモデル分野に新鮮な活力をもたらしています。

このモデルはアーキテクチャ設計において巧みです。Soofi Sは、リソース効率の高い「ハイブリッドエキスパート」構造を採用しており、Mamba-2と標準的なアテンション層を組み合わせています。総パラメータ数は316億ですが、実際の生成プロセスでは、各トークンで約32億のパラメータがアクティブになります。このような設計により、計算コストが大幅に削減され、小型モデルに近づきつつ、高負荷環境での処理速度や生成スループットが非常に優れています。特に長文処理においてその性能の優位性が顕著で、4万トークンのコンテキスト環境下では、同規模の従来の密行列モデルと比較して生成スループットが約8倍に達し、コンテキストが長くなるほど高い安定性を維持します。

トレーニングデータ戦略において、Soofi Sは明確なドイツ語の偏向を示しています。27兆トークンに及ぶトレーニング過程において、研究チームは意識的にドイツ語データの割合を増やしました。第一段階では7.2%から第二段階では15.3%へと引き上げ、新聞記事、ウィキペディア、専門技術文書などの多様な語料を統合し、ドイツ語環境での複雑なタスクに対応する能力を高めました。

ベンチマーケィングテストの結果は、その優れた実力を証明しています。Soofi Sは英語およびドイツ語の総合テストにおいて、オープンソースモデルの中で突出しており、OLMo332BやApertus70Bなどの著名なモデルを上回っています。特にコード生成、専門的推論、ドイツ地域の知識テストにおいて、Soofi Sはトップレベルの性能を発揮しています。ただし、研究チームは客観的に指摘しており、このモデルは超長文の抽出タスクやドイツ語の数学的推論において改善の余地があるとされています。