大規模モデルサービスの主な戦場は、単一ラウンドのチャットから検索強化型質問応答、複数文書要約、および長距離エージェントへと移行しています。このような新しいワークロードには共通点があります：1つのリクエストのプロンプトは数十から数百の意味的に独立したセグメントで構成され、検索されたドキュメント、スキル説明、メモファイル、歴史的なラウンドが一括して数万乃至数十万のトークンに及ぶ超長なコンテキストを形成します。この長さでは、プリフィル（prefill）フェーズが単一リクエストの計算コストを主導し、サービス提供者の最も目立つコスト源になります。さらに厄介なのは、キャッシュミスが発生すると、最初のトークン遅延（TTFT）が数十秒に達することもあり、直接的にインタラクション体験を破壊するのです。

image.png

業界ではこの問題に対処するために2つのコスト削減ルートが開発されました。一つは「位置に依存しないキャッシュ（PIC）」であり、これは厳密なプレフィックス制限を緩和し、各意味的に独立したセグメントを一度だけキャッシュし、任意のプレフィックス後に組み合わせることができる仕組みです。これはRAGとAgentのプロンプト構築方式に完全に合致しており、その本質はトークン軸に沿って直接結合する「splice」と、一部のトークンを再計算して跨セグメントのコンテキストを復元する「correction」という2つの基本演算です。もう一つは「混合アテンションモデル」であり、大部分の全アテンション層を線形アテンションに置き換えることで、アテンションの二次的複雑度を線形に抑えるとともに、無限の履歴を固定サイズのループ状態に圧縮します。最近の製品モデルであるMiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linearなどは、通常75％以上のレイヤーを線形化し、少数の全アテンションレイヤーを残すことで、混合アテンションの主流設計となっています。例えばQwen3.5-35B-A3Bでは40レイヤー中30が線形レイヤーです。

しかし矛盾はここにあります：現在のPICはトークンごとのKVキャッシュを操作しており、線形アテンションレイヤーはただ1つのパーセッションごとのループ状態のみを公開しています。これにより、トークンごとのアクセスポイントが一切ありませんので、spliceやcorrectionを行うことができません。結果として、混合モデルの大部分のレイヤーは現在のPICの能力範囲外となります。これまで、混合アテンション大規模モデルに対して位置に依存しないキャッシュを実装したシステムは存在しませんでした。

image.png

小紅書の大規模モデル推論チームは北京大学および上海交通大学と共同で、混合アテンション大規模モデルにおいてPICを実装したHYPICというサービスシステムを開発しました。このシステムは4つの産業用混合アテンションモデルと5つのワークロードでテストされた結果、最初のトークン遅延が平均3.25倍低下し、SLO（Service Level Objective）下での持続可能なQPSが1.66倍向上し、タスク品質は完全な再計算と比較してわずか1.71ポイントしか差がありませんでした。このシステムの核心的なアイデアは、混合アテンションモデル内の線形レイヤーと全アテンションレイヤーを別々に処理し、最後にシステムレベルの並列化により冷リクエストも加速するものです。このシステムは3つの相互に関連するメカニズムで構成されています。

線形レイヤーに対して、HYPICは「遷移オペレータ」をキャッシュし、定数時間での状態の組み合わせを実現します。最も単純なPICの仮想案は、それぞれのセグメントのゼロ初期値末状態を直接加算することですが、これは単純な線形アテンションでは成立しますが、衰減やゲート、deltaクリアなどの進化した線形アテンション（RetNet、Mamba2、GLA、DeltaNet、GDN、KDAなど）では失敗します。真に見落とされている重要な量は、セグメント内におけるすべてのトークンの遷移行列の積である「累積遷移オペレータT_C」です。実際の末状態はS(C1·C2)=T(C2)·S(C1)+S(C2)であり、単純な加算はT(C2)を欠いてしまうため、構造的な誤差が生じます。実際の測定では、RetNetの慢衰減ヘッドで256トークン時に状態ノルムの22%の誤差が生じています。HYPICの重要な洞察は、T_Cとゼロ初期値末状態S(C|0)はセグメント内のトークンによってのみ決定され、プレフィックスとは関係がないということです。したがって、HYPICはセグメントが初めてプリフィルされる際に(T_C, S(C|0))の二つ組をキャッシュし、再利用時に組み合わせ則に基づいて左乗算して加算することで、任意のプレフィックス下での末状態を定数時間でほぼ正確に再構成できます。また、これはすべての線形アテンションファミリーを自然にカバーしています。実際の測定では、Qwen3.5-35B-A3Bにおいて組み合わされた状態は第0層で完全な再計算と比較して6×10⁻⁵しか違いません。FP16ノイズ以内に収まっています。因果的畳み込みやRoPEを備えた変種には、HYPICは畳み込み状態の熱入力と状態の再回転という2つの修正パッチを使用して厳密な整合性を確保しています。

全アテンションレイヤーに対して、HYPICは「縫い合わせ窓」を使用してセグメント間のアテンションを修復します。混合モデルの一部の全アテンションレイヤーは依然としてPICが必要ですが、従来の選択的再計算は直接移行できません。なぜなら、下方の線形レイヤーは末状態のみを保持しており、末尾以外のトークンは全アテンションレイヤーを通過できず、両方の退路—トークンごとにループ状態を保存するか、ゼロから再帰的に再計算するか—はいずれもストレージまたは計算コストにおいて受け入れられません。チームの観察によると、KVの結合後のバイアスは各再利用セグメントの先頭に集中しており、それ以降の部分はほとんど影響を受けません。これは全アテンションモデルにおけるattention sink現象と一致しており、混合アテンションモデルでも同様に成立します。したがって、HYPICは各内部セグメントの先頭w個のトークンに対して「縫い合わせ窓」を構築し、キャッシュ時にこれらのトークンをキャッシュしないようにし、再利用時に完全なプレフィックス下で再計算することでセグメント間のアテンションを修復します。デフォルトのwは8です。実際のセグメント長は通常512トークン以上なので、縫い合わせ窓は非常に小さな割合を占め、再計算のコストは制御可能です。セグメント先頭のKV再計算をサポートするために、線形アテンションレイヤーは再利用時に縫い合わせ窓自体のTとSを即座に計算し、進行中の状態を進めながら、各seamトークンのレイヤーごとの出力を上位の全アテンションレイヤーに前方伝播させます。

第三の要素は「セグメント並列処理」であり、これは「長い冷リクエスト」を加速可能なワークロードに変えるものです。キャッシュミスは避けられない—データが継続的に更新され、低頻度ドキュメントが廃棄されるため、長い冷リクエストは尾部遅延の主要因です。現在のシステムでは、全体のプロンプトを1つの全体として扱い、単一インスタンス上ですべての冷セグメントを直列にプリフィルしているため、TTFTはO(n·|C|)に比例して増加します。テンソル並列などのインスタンス内並列処理は単一の前方計算を加速できるものの、拡張性は限られており、100kトークンのリクエストでもTP-8では17.7秒かかることがあります。しかしPICにより、各セグメントは自己完結しています—そのプリフィル結果は内部トークンにのみ依存します。HYPICはこのことを活かして、インスタンス間のセグメント並列処理を提案しました。Routerは各セグメントがキャッシュされた状態を検出し、冷セグメントを複数のscatter workerに並列に配布し、その後combine workerが各セグメントの結果を統合して完全な実行状態を作成します。これにより、冷プリフィルの時間をO(n·|C|)からO(⌈n/m⌉·|C|+c)に低下させることができます。このパスを最大限に活用するために、HYPICはLPT（最長処理時間優先）貪欲アルゴリズムで各workerの負荷をバランスし、各セグメントの計算と送信をパイプライン化して、combine workerが同期的な送信バーストに巻き込まれないようにします。セグメント並列処理とインスタンス内並列処理（TP/DP/SP）は正交的な軸で作用し、シームレスに重ね合わせられます。

このシステムはSGLang上で実装されており、約14,000行のPythonとTritonコードで構成されています。8×H20ノードで、4つの産業用混合アテンションモデル（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、4つの公開データセット（HotpotQA、TriviaQA、MultiNews、GovReport）、および1つの製品RAGトレースを使用して評価されました。すべての予熱が完了した後、HYPICはPrefix Cacheよりもp50TTFTを平均3.25倍低下させました（各モデルで2.77×〜4.05×）、そして品質はほぼ損なわれていませんでした。16個の「モデル×データセット」ユニットで完全な再計算と比較して平均で1.71ポイントしか差がなく、Qwen3.5-35Bでは逆に0.47ポイント高い結果となりました。対照として、転送オペレータをキャッシュしない単純な加算は66.9%のスコアを失いました。これはT_Cの必要性を証明しています。製品RAGトレースにおいては、1秒のTTFT SLO下で、HYPICはPrefix Cacheよりも持続可能なQPSを1.66倍向上させました（1.49×〜1.85×）、ピーク時の単一カードのスループットは約1.3〜1.5倍向上しました。純粋な冷キャッシュミス経路において、32kトークンのリクエストのTTFTは単一ワーカーでは2.83秒でしたが、8ワーカーでは0.49秒になり、5.7倍の加速が達成され、ほぼすべての収益は近似的に線形拡張可能なscatteer段階に起因しています。不均等な分割に対しても、LPTはRound-RobinよりもTTFTを1.26秒から0.84秒に圧縮し、3.6×対2.4×の効果を示しました。コストも制御可能です。 (T_C, S(C|0)) の一時的なコストは、最も重い密な転送モデルでもメインの前方計算の5.2%〜6.7%であり、一度構築すれば複数回使用することでコストを薄めることができます。

HYPICは初めて、混合アテンション大規模モデルに位置に依存しないキャッシュを導入しました。線形レイヤーではセグメントの累積転送オペレータをキャッシュし、定数時間で状態を組み合わせる方法を採用し、全アテンションレイヤーでは小さな縫い合わせ窓でセグメント間の整合性を修復し、セグメント並列処理を用いて長期間の冷リクエストを加速可能なワークロードに変えることを行いました。これにより、RAGやAgentのような長文脈サービスは、効率的な混合アーキテクチャを採用しつつも、セグメントレベルのキャッシュ再利用の恩恵を享受できるようになりました。チームは今後、分散型のPIC管理とスケジューリング、多段階キャッシュ階層管理の探求を通じて、大規模モデルの推論技術がより高速で省電力かつ拡張可能になるようにさらに進化させていくと述べています。