字节团队解析 DeepSeek 现象成因：相位敏感性影响长上下文检索准确度

字节跳动的 Seed 团队于今年 9 月底在预印本平台 arXiv 上提交了一篇论文，探讨了大型模型在长上下文任务中偶尔出现的“抽风”现象，并对该现象的成因提出了技术层面的解释。研究指出，分块 KV 缓存压缩所带来的相位敏感性直接与 DeepSeek 现象相关。

DeepSeek 团队发现相位敏感性影响长上下文检索表现

DeepSeek 团队评估了基础版及后训练版的 DeepSeek-V4-Flash、DeepSeek-V4-Pro，以及后训练后的 DeepSeek-V4.1-Flash。这几款模型在架构上均采用了通过分块 KV 缓存压缩的共同做法，以固定步幅将连续标记（token）窗口压缩为更少的缓存条目。这种做法显著降低了长上下文推理时的内存占用和注意力计算成本，因此受到不少模型的青睐。

然而，压缩并非没有代价。论文指出，这种处理方式在原有位置体系之外，引入了一个新的位置坐标——标记的相位，即该标记相对于压缩窗口边界所处的位置。换句话说，同一段信息在压缩缓存中的“站位”不同，便会导致截然不同的检索表现。

团队进一步发现了一种系统性的不对称现象：相同的信息在某个相位时容易被模型检索到，而换到另一个相位却变得相当困难。他们将这种检索性能随相位周期性起伏的现象命名为“相位敏感性”（phase sensitivity）。

更值得注意的是这种波动的幅度。在采用此类压缩的大型开放权重模型中，长上下文检索的准确度在不同相位之间可能相差高达 40 个百分点。这一数字揭示了平均基准分数可能掩盖的周期性弱点——一份看似优秀的平均成绩单，实际上是在高点与低点之间反复波动后得出的结果，而用户真正遇到的是哪个相位，往往取决于信息在上下文中的落点。