字节Seed团队揭示DeepSeek长上下文“抽风”根源：分块KV压缩引发相位敏感性

今年9月底，字节跳动Seed团队在arXiv平台发布研究论文，深入剖析DeepSeek系列模型在长文本推理中出现的不稳定现象（俗称“抽风”）。研究指出，问题核心在于模型所采用的分块KV缓存压缩技术——该方法虽显著降低显存占用，却意外引入了“相位敏感性”：即语义相同的信息，在不同位置或不同缓存块中被检索时，准确率出现剧烈波动。实验显示，在启用此类压缩的大型语言模型中，长上下文下的关键信息检索准确率在不同处理阶段之间最大可相差达40个百分点。