ByteDanceのSeedチームが今年9月末、プレプリントプラットフォームarXivに論文を提出し、大規模モデルが長文脈タスクで時折見せる「暴走」現象について論じ、その原因を技術的観点から説明した。研究は、チャンクKVキャッシュ圧縮によって生じる相位敏感性がDeepSeek現象と直接関係していることを指摘している。
DeepSeekチーム、相位敏感性が長文脈検索性能に影響することを発見
DeepSeekチームは、ベース版および後訓練版のDeepSeek-V4-Flash、DeepSeek-V4-Pro、ならびに後訓練済みのDeepSeek-V4.1-Flashを評価した。これらのモデルはアーキテクチャにおいて、チャンクKVキャッシュ圧縮という共通の手法を採用しており、固定ストライドで連続するトークン（token）ウィンドウをより少ないキャッシュエントリに圧縮している。この手法は長文脈推論時のメモリ使用量とアテンション計算コストを大幅に削減するため、多くのモデルで採用されている。
しかし、圧縮には代償がある。論文は、この処理方式が元の位置体系とは別に、新たな位置座標——トークンの相位、すなわちそのトークンが圧縮ウィンドウ境界に対してどの位置にあるか——を導入することを指摘している。言い換えれば、同じ情報でも圧縮キャッシュ内での「立ち位置」が異なれば、全く異なる検索性能をもたらすことになる。
チームはさらに、系統的な非対称現象を発見した：同じ情報でも特定の相位ではモデルが容易に検索できるが、別の相位では極めて困難になる。彼らは、この検索性能が相位に応じて周期的に変動する現象を「相位敏感性」（phase sensitivity）と命名した。
より注目すべきはこの変動の振幅だ。この種の圧縮を採用する大規模オープンウェイトモデルにおいて、長文脈検索の精度が相位によって最大40パーセントポイントも差が生じる可能性がある。この数値は、平均ベンチマークスコアが隠蔽している可能性のある周期的な弱点を明らかにする——一見優秀な平均成績表は、実際には高点と低点の間で繰り返し変動した結果であり、ユーザーが実際に遭遇する相位は、情報が文脈内のどこに位置するかに依存することが多い。