人工知能の分野では、最近激しい競争が繰り広げられています。英伟达が開発した4B小モデルであるNVARCは、最新のARC-AGI2評価で27.64%という優れた成績を収め、ライバルのGPT-5Proの18.3%を下回り、トップに立ちました。この実績は、NVARCの強力な性能を示すだけでなく、各タスクのコストが20セントにとどまり、GPT-5Proの7ドルに比べて圧倒的に低く、コスト面での勝利は「コストパフォーマンスの王」と言えます。

NVARCの成功には、独自のゼロプリトレーニングの深層学習方法が大きく影響しています。このアプローチは、従来の大規模な汎用データセットを使用するプリトレーニングによる分野バイアスやデータ依存性の問題を回避します。今回の評価は特に困難で、ARC-AGI2はより高い難易度のテストを採用しており、モデルが直接的なトレーニングデータなしで、迅速に新しいスキルを学び、習得できるかどうかを検証しようとしています。

image.png

英伟達チームは、NVARCのトレーニングにおいて革新的なアプローチを取り入れました。複雑な推論プロセスをオフラインの合成データパイプラインに移し、GPT-OSS-120Bを使って高品質な合成クイズを生成することで、リアルタイムの計算リソースの必要性を減らしました。チームは既存のデータセットから質問を抽出し、組み合わせてより複雑な新しい問題を生成しました。生成されたデータの高品質を確保するために、彼らは推論プロセスを複数の独立した検証フェーズに分解し、最終的に320万件の拡張サンプルを含む大規模な合成データセットを構築しました。

NVARCの推論モジュールでは、改良されたARChitectsメソッドが採用され、対話型テンプレートによってクイズの理解が簡略化されました。トレーニング中に、彼らはNeMo RLフレームワークとMegatronバックエンドを使用して監督的微調整を行いました。特に注目すべきは、それぞれのタスクに対して微調整を行うTTFT技術であり、これによりモデルは新しいタスクのルールに迅速に対応できるようになりました。