AI対話技術が進化する中、OpenRouterは近日、提示文キャッシュ（Prompt Caching）とスティッキールーティング（Sticky Routing）という2つのイノベーション技術をリリースしました。この技術により、複数ラウンドのエージェント対話におけるトークンコストを大幅に削減することが可能です。この新技術の登場により、開発者は長時間にわたるエージェントとのインタラクションにおいて、より低コストで利用できるようになり、エージェントアプリケーションの普及を促進します。

複数ラウンドの対話では、エージェントが繰り返し同じシステムプロンプト、ツール定義、および戦略命令を送信する必要があります。これにより、6ラウンドの会話において、ユーザーが一度入力した内容を変更した場合でも、これらの繰り返しのプロンプトに対して複数回料金を支払う必要があるのです。しかし、プロンプトキャッシュによって、OpenRouterはキャッシュから繰り返し部分を読み取ることで、高い重複料金を回避できます。サービス提供者によって異なりますが、キャッシュ読み取りのコストは通常の入力価格の0.1〜0.5倍に過ぎません。Claude Sonnet4.6モデルの場合、キャッシュ読み取りの価格は100万トークンあたり0.30ドルであり、通常の入力価格は3.00ドルです。

image.png

このメカニズムが複数ラウンドの対話で継続的に有効であることを確保するため、OpenRouterのスティッキールーティング技術により、以降のリクエストは熱いキャッシュを持つ同一のサプライヤーに固定されます。これにより、開発者は異なる対話ラウンドにおいても継続的に低価格なキャッシュ読み取りサービスを享受できます。

しかし、このイノベーション技術を最大限に活用するためには、開発者が使用中に一貫したセッションを保つ必要があります。キャッシュの有効性に関して、OpenRouterはセッションIDを設定することを推奨しています。これにより、最初のリクエストが成功した直後にスティッキールーティングが有効になります。キャッシュヒット後ではなく、初期段階からです。また、開発者はリクエストのレスポンスにある使用データを確認することで、キャッシュが有効かどうかを簡単に確認できます。

AI技術が進歩する中、OpenRouterのこの新技術は開発者にとってコスト管理の強力なツールとなり、エージェントの応用シーンの拡大にも新たな可能性を開きます。