KV缓存压缩

DeepSeek“抽风”原因曝光

字节Seed团队在arXiv提交的论文探讨了分块KV缓存压缩导致的相位敏感性问题，认为这可能是DeepSeek模型表现不稳定的原因之一。研究指出，该压缩技术引入的Token相位导致模型在检索相同信息时存在系统性不对称性，长上下文检索准确度在不同阶段的差异最高可达40个百分点。