AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10 training10

AI 答案

资料有限基于 1 条来源 · 引用可点击溯源

现有资料不足以回答这个问题。资料1只描述了 AbridgeKV 自身的机制与收益，没有涉及投机解码（speculative decoding）对 KV cache 显存占用的任何要求，也没有讨论两者是否冲突。资料1中能确认的相关事实只有：

AbridgeKV 通过训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，并释放原始缓存，后续 token 改为关注这些 pause token1；
在 AIME 等 446 道竞赛题、32K 生成设置下，仅保留四分之一缓存即可匹配全 KV 模型精度1；
在 vLLM 中单序列缓存缩小 3.5 倍，H100 上完成速度提升 3.2 倍1。

也就是说，资料只能说明 AbridgeKV 是一种减少 KV cache 占用的压缩方法1，但没有任何信息可用于判断它与投机解码的显存需求是否兼容或冲突。要回答该问题，需要补充投机解码的 KV cache 机制（如 draft/target 模型是否共享缓存、多候选 token 的并行缓存开销）以及 AbridgeKV 对缓存结构的改动细节。

继续追问

投机解码中 draft 模型与 target 模型的 KV cache 是共享还是各自独立，显存开销如何计算？AbridgeKV 的 pause token KV 条目在 vLLM 的 PagedAttention 分页管理中如何分配与回收？把 AbridgeKV 与投机解码结合时，被压缩释放的缓存是否会影响 draft 模型的验证（verification）正确性？

参考来源

1 条

1站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

1 条 · 点击可看原文全文与中文译文

返回信息流

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

#kv-cache