最近、メタ社は新たなスーパーアイテクノロジー研究室（Meta Superintelligence Labs、MSL）を設立し、最初の重要な論文を発表しました。この研究成果により、大規模言語モデルが検索強化生成（RAG）タスクにおける推論速度が30倍以上向上しました。

この論文のタイトルは「REFRAG: Rethinking RAG based Decoding」とされ、大規模言語モデルがRAGタスクを実行する際に、重要な情報を迅速に抽出して計算量を減らし、反応時間を短縮する方法について考察しています。同時に精度は維持されています。メタスーパーアイテクノロジー研究室の設立は、メタが人工知能分野でさらに力を入れる動きを示しており、現在の激しい競争環境において、ザッカーバーグはAI技術の発展を急いでいます。

image.png

メタスーパーアイテクノロジー研究室は今年6月に正式に設立され、カリフォルニア州メンロパークに本拠を置き、スーパーアイテクノロジー技術の開発を目指しています。報道によると、ザッカーバーグは4月にメタが最新リリースしたLlama4モデルの性能に不満を抱き、従業員に残業を命じて改善を求めていました。その結果、この新研究室が設立され、スケールAIの創業者アレクサンドル・ワン氏など多くの優れた人材が参加しました。

研究室内部では、チームが4つのグループに分けられ、それぞれ大規模言語モデルの開発、人工知能の基礎研究、製品技術の実装、インフラストラクチャの保障を担当しています。REFRAGフレームワークの提案は、研究室が大規模言語モデルのパフォーマンスを最適化する第一歩です。

REFRAGフレームワークの核心的な考え方は、冗長なコンテキスト内容を要約として軽量モデルで圧縮し、デコーダーが処理する入力情報を減らすことです。この方法は処理速度を速め、計算量を減らし、モデルの効率性を向上させます。また、研究チームは「継続的プリトレーニング」の方法を採用し、再構築タスクを通じてモデルを訓練することで、情報圧縮の際にはできるだけ重要な詳細を保持します。

全体的なテストの結果、REFRAGはさまざまなタスクで優れた性能を発揮し、特に時間遅延とスループットの面で大幅に向上しました。実験結果によると、圧縮比が16倍の場合でも、以前の最先端モデルCEPEを上回り、精度はほとんど損なわれていません。

この革新的な成果は、メタが人工知能分野での発展に新しい力を注ぎ込み、大規模モデルの推論効率を向上させる前向きな思考を示しています。

論文: https://arxiv.org/abs/2509.01092

ポイント:

🌟 メタはAI技術の発展を推進するためにスーパーアイテクノロジー研究室を設立しました。

⚡ 新論文「REFRAG」により、RAG推論速度が30倍向上し、計算量が減少しました。

🚀 REFRAGフレームワークは情報圧縮を通じて、大規模言語モデルの効率性と正確性を向上させました。