通義ラボと北京大学が新しい技術ZeroSearchを発表 - LLMの検索能力を活性化し、コストを88%削減

最近、通義実験室と北京大学の研究チームは、新しい技術フレームワークである「ZeroSearch」を発表しました。この技術は、現実の検索を使用せずに大規模言語モデルの検索能力を活性化でき、訓練コストが驚くほど88%削減されます。この革新により、大規模言語モデルの訓練と応用に新たな道を開きました。

従来の訓練方法では、情報取得のために現実の検索エンジンに依存しており、API呼び出しコストがかさみ、検索結果の品質が不安定で、モデルのパフォーマンスに影響を与える可能性があります。ZeroSearchは巧妙に、「模擬検索エンジン」として大規模言語モデルを導入し、事前学習プロセスで蓄積された豊富な知識を利用して検索ドキュメントを生成することで、現実的な検索によるコストやノイズ干渉を回避しています。

論文URL: https://arxiv.org/pdf/2505.04588

コードURL: https://github.com/Alibaba-NLP/ZeroSearch

プロジェクトホーム: https://alibaba-nlp.github.io/ZeroSearch

Huggingface ホーム: https://huggingface.co/collections/sunhaonlp/zerosearch-v2-6827f4ee6b6265069d443d4e

このフレームワークは、構造化されたトレーニングテンプレートを採用しており、モデルが各対話の中で論理的に思考し操作できるようになります。この方法は、モデルの推論パスの明確化を促進し、最終的な答えの抽出を簡素化します。さらに、ZeroSearchは「シミュレーションチューニング」という戦略を通じて、生成されるドキュメントの質を向上させ、出力内容の実用性と信頼性を確保しています。

実験の結果、ZeroSearchは伝統的な現実検索エンジンに依存する方法よりも著しく優れており、強力な汎化能力と安定性を示しています。モデルのパラメータ量が増えれば増えるほど、そのパフォーマンスは向上しています。この研究は、大規模言語モデルの技術革新を推進し、将来の知能検索と情報リトリバルアプリケーションに新しい可能性をもたらしました。

以上の通り、ZeroSearchは大規模言語モデルの訓練に革命的な変化をもたらし、低コストかつ高性能を特長として、知能情報リトリバルの未来を予見しています。