最近開催されたDreamforce技術カンファレンスで、Salesforceは自社初の推論大規模モデルKoaを正式に発表しました。このモデルはNVIDIAがオープンソースで公開したNemotronベースをもとに構築され、両社が共同で微調整トレーニングを行っており、販売、マーケティング、カスタマーサービスなどの企業の主要なビジネスシナリオを深く支援することを目的としています。

長年にわたり、企業向けのスマート化への移行は高いコストを伴ってきました。各大手の非オープンソースAIラボでは、企業が内部のファイル、コード、プロンプト、ユーザーのフィードバックをすべて閉鎖的なモデルとインテリジェントエージェントにアップロードする傾向があり、これにより使用コストが上昇し、データセキュリティやコンプライアンス上の懸念が生じるようになりました。Koaの登場により、企業には完全なオープンソースウェイトの技術ルートが提供されます。これは実際のビジネスタスクに特化しており、トレーニング中にいかなる本物の顧客データも取り込まれていないため、顧客の機密情報が外部に漏れるリスクを完全に解消しています。

image.png

アーキテクチャ設計とコスト制御において、KoaはNVIDIAのNemotronベースを通じて顕著な経済的優位性を示しています。第三者の非オープンソースの大規模モデルを呼び出すよりも、同様のビジネスタスクを実行する際に使用するToken数が大幅に減少します。また、AIゲートウェイの自動ルーティングメカニズムによって、企業は実際のビジネス要件に応じてリクエストを柔軟に配分できます。さらに、そのセキュリティメカニズムはSalesforceプラットフォーム内に深く埋め込まれており、企業の厳しいデータ管理要件を完全に遵守しています。

以前まで、エージェントが長時間または複数ステップの推論タスクを処理する必要がある場合、Agentforceプラットフォームは通常、AIゲートウェイを通じてClaudeやChatGPTなどの外部の先進的大規模モデルにリクエストを転送していました。Salesforceの人工知能事業の上級副社長であるJayesh Govindarajan氏は、「過去には企業向けの高性能推論モデルを開発する計画を持っていましたが、米国では第一線の性能と明確なデータトレーサビリティを備えたプリトレーニングベースが存在しなかったため、実現が難しかったのです。しかしNemotronベースの登場により、この壁は打ち破られました。このベースのトレーニングプロセスでは、完全に独自に生成されたシミュレーション業務の合成データセットが使用され、カスタマーサービスのクレームや販売促進などの複雑なシナリオを成功裏にシミュレートしました。