分块KV缓存压缩与相位敏感性

字节Seed团队近期在预印本平台arXiv提交了一篇论文，探讨了分块KV缓存压缩技术所导致的相位敏感性问题，并认为这可能是DeepSeek模型表现不稳定的原因之一。

研究人员对基础版和后训练版的DeepSeek-V4-Flash、DeepSeek-V4-Pro，以及后训练后的DeepSeek-V4.1-Flash进行了评估。

在技术原理方面，分块KV缓存压缩技术允许模型以固定步幅将连续标记的窗口压缩为更少的缓存条目，其目的是在长上下文推理过程中减少内存占用和注意力成本。

检索性能的周期性波动

研究发现，这种压缩方法引入了一个新的位置坐标，即Token的相位，指的是Token相对于压缩窗口边界的位置。

该团队指出，使用此类压缩的模型中存在系统性不对称性，具体表现为相同的信息在某个阶段容易被检索，但在另一个阶段则较难检索。研究人员将这种周期性的检索性能变化定义为“相位敏感性”。

研究结果显示，在采用此类压缩的大型开放权重模型中，长上下文检索的准确度在不同阶段之间可能存在高达40个百分点的差异。这表明平均基准分数可能会掩盖模型在特定周期内的弱点。

相关动态

  • DeepSeek于2026年8月6日公告，计划近期整体上调DeepSeek API服务的定价，且预计涨幅较大。
  • DeepSeek AI于2025年10月20日发布了全新多模态模型DeepSeek-OCR。