NVIDIAは最近、Nemotron3Embedシリーズの埋め込みベクトルモデルをリリースしました。このシリーズは、生産用RAG、スマート検索、コード検索、エージェント記憶などのシナリオに特化しています。その8Bバージョンは、検索埋め込みベンチマークのRTEBで1位を獲得し、現在の分野で最もパフォーマンスの高いオープンソースモデルとなりました。

このシリーズには3つのオープンチェックポイントが含まれています:Nemotron-3-Embed-8B-BF16（精度優先）、Nemotron-3-Embed-1B-BF16（軽量バージョン）およびNemotron-3-Embed-1B-NVFP4（Blackwellアーキテクチャに最適化された4ビットバージョン）。これらはすべて双方向のアテンションマスクトレーニングを施したTransformerエンコーダーを使用しており、最大のシーケンス長は32,768トークンで、34の言語をサポートしています。また、OpenMDW-1.1ライセンスで公開されています。注目すべき点は、これらのベースモデルがMistralアーキテクチャに基づいていることで、8BバージョンはMinistral-3-8B-Instruct-2512から派生し、2つの1BバリアントはMinistral-3-3B-Instruct-2512から派生しています。

image.png

RTEBベンチマークの16の公開タスクテストにおいて、8B-BF16バージョンは平均NDCG@10スコア78.46でトップに立ちました。1B-BF16バージョンは72.38で、前世代の基準であるllama-nemotron-embed-vl-1b-v2よりも10.4ポイント高くなりました。一方、Blackwell向けに最適化された1B-NVFP4バージョンはわずか0.38ポイントの損失しかなく、精度の99.5％を維持しつつ、BlackwellアーキテクチャでのスループットはBF16の2倍になりました。

1Bモデルは小規模なトレーニングではなく、圧縮を通じて構築されました。研究チームはまず、NVIDIA ModelOptのニューラルアーキテクチャ探索を使用して、3Bベースモデルを2Bに剪定し、その後、微調整された8B埋め込みベクトル教師モデルから余弦距離損失と均方誤差損失を用いて知識蒸留を行いました。最終的に1.14Bパラメータに到達しました。NVFP4バージョンはさらに、512サンプルによる校正と2万サンプルのトレーニングを通じて、量化感知蒸留が行われ、長入力シナリオでの精度が回復しました。

image.png

配備面では、3つのバージョンに違いがあります。8Bと1BのBF16バージョンはTransformersとSentence Transformersフレームワークをサポートしていますが、1B-NVFP4はvLLM0.25.0の/v2/embedインターフェースのみをサポートしています。マイクロアーキテクチャのカバー範囲については、NVFP4バージョンはAmpere、Hopper、Lovelace、Blackwellに対応していますが、BF16バージョンは主にAmpere、Hopper、Blackwellを対象としています。NVIDIAはさらに、1Bモデル向けに最適化されたNIMマイクロサービスをリリースし、Rustで構築されており、GB200およびRTX PRO6000でvLLMチェックポイントのパフォーマンスを達成または上回っています。

応用シーンでは、このシリーズモデルは多言語企業検索（言語間検索）、コード検索（SWE-benchなどのコードデータセットを含む訓練データ）およびエージェント記憶（32Kトークンの長いコンテキストをサポートする長時間の会話要約の埋め込み）をサポートしています。コストに敏感なシナリオでは、「1B-NVFP4で大容量のリコールを処理し、8Bで困難なクエリを処理する」階層的なRAG戦略が可能です。

NVIDIAはまた、Sentence Transformersに基づくローカル推論とvLLMに基づくサーバーサイドデプロイを含む完全なコード例を提供しています。クエリとドキュメントは`query:`と`passage:`のプレフィックスで区別され、埋め込みベクトルはL2正規化され、内積はコサイン類似度に等しくなります。