人工知能検索スタートアップのPerplexityは、NVIDIAが新たにリリースしたCPUチップ「Vera」を採用する計画を発表しました。このチップはNVIDIAの伝統的なGPU製品ラインの延長ではなく、AIエージェント時代に合わせてゼロから設計された新しいアーキテクチャの製品であり、従来のCPUがAIエージェントのシナリオで「不向きな状況」にあるという深い課題に直面しています。

インテルやAMDのCPUは「ノートPC時代の遺産」とされています。

AIエージェントは自律的なプログラムであり、人間のユーザーのように停止したり休憩することなく、コードを継続的に書き換え、タスクを実行し、複雑なワークフローを調整できます。しかし、インテルとAMDのCPUはノートパソコン時代に生まれたものであり、その設計目的は間欠的な人間とコンピュータの対話にサービスを提供することでした。AIエージェントが非停止で繰り返し演算を行う際には、しばしば望ましい結果を得ることができません。

NVIDIAの公式ブログでは、従来のCPUの限界についてさらに詳しく説明しています。遅い実行速度により、強化学習の各サイクルにおける有効な評価回数が減り、トレーニング時間が長くなり、1ユーザーに対するサービス遅延も増加します。また、速度が不足するとKVキャッシュの喪失が起こり、計算能力コストが上昇し、悪循環を引き起こすことがあります。Perplexityのインフラストラクチャ担当副社長Nate Kupp氏は、実際にテストした結果、NVIDIAのVera CPUは従来のCPUに比べてAIエージェントのコード作成タスクを約1.5倍速く処理でき、そのコアアーキテクチャと非常に適合していると述べました。

コア速度が1.8倍に向上し、トレーニングサイクルが大幅に短縮

Veraは上述の課題を直接的に解決するように設計されています。コア速度が1.8倍に向上し、同じ時間枠内で最大85％の評価タスクを完了できます。また、より早い実行速度により、より豊かな強化学習フィードバックを得られ、より高品質なトレーニング信号を生成し、全体的なトレーニングサイクルを顕著に短縮し、計算能力に関連する悪影響を軽減することができます。