AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens
中文摘要
由模型生成 · 人工抽检AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。
全文
已译中文arXiv:2610.20641v1 公告类型：新
摘要：长链思维链解码是内存受限的：已生成 token 的 KV cache 随测试时计算量的增加而线性增长。驱逐缓存条目并不能解决这个问题，因为一个从未在条目被移除的缓存上训练过的模型会生成更长的输出，往往达到长度上限。我们转而训练模型压缩自身的输出。AbridgeKV 将每个已完成的生成文本块压缩为少量学习到的 pause token 的 KV 条目。这些是额外的输入 token，具有经过训练的向量嵌入，不产生任何输出。一旦 pause token 编码了该块，AbridgeKV 便释放该块的原始缓存；后续 token 转而关注 pause token 的 KV 条目。三项新颖的设计选择使这一方法奏效：pause token 的 KV 条目占据其所替换块内的位置，缓存预算根据各层条目的实测价值在层间分配，压缩在相对较大的块上进行。在来自 AIME、HMMT、AMC、BRUMO、CMIMC 和 SMT 的 446 道竞赛题上，以 32K token 生成，保留四分之一的生成缓存即可在准确率和输出长度上匹配同等训练的全 KV 模型；在匹配预算下最强的已发表驱逐器写出的输出长得多，而最接近的已训练压缩器在同一数据上重新训练后损失了 10 个百分点。在 vLLM 中部署时，每个序列的缓存缩小 3.5 倍，饱和的 H100 完成一道题的速度比使用全 KV 快 3.2 倍。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。