AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

结论：现有资料只能给出方向性线索——长上下文场景下不必换用长上下文草稿模型，而是冻结短上下文草稿器、在推理期做两项机制调整，vLLM 侧用单一配置覆盖 4k 到 2M token[1]；但资料未给出具体的配置项名称、参数取值或代码示例，因此无法提供可直接照抄的配置写法。资料中可确认的要点：

问题定位：在超长上下文下，投机解码的加速效果会消失，原因是草稿模型必须处理完整前缀1。
解决思路：无需训练长上下文草稿模型，而是冻结短上下文草稿器，通过两个推理期机制让它在长上下文下仍保持短上下文时的加速比，且不需要修改权重1。

- 机制一：限制注意力缓存1 - 机制二：重定位旋转位置索引（RoPE 索引重定位）1

配置粒度：论文称在 vLLM 侧“单一配置即可覆盖 4k 到 2M token”，并报告在 200 万 token 下仍保持短上下文时的加速比1。

资料中未包含的内容（因此无法回答）：

上述两个机制在 vLLM 中对应的具体配置字段名、命令行参数或 LLM(...) / speculative_config 写法；
草稿模型的选择标准、草稿 token 数（num_speculative_tokens）等取值建议；
与 KV cache 显存、block size、max_model_len 的联动设置。

补充一条相关但不同层面的资料：若长上下文的瓶颈在 KV cache 显存而非草稿模型，2 提供了另一条路径——把已完成的长推理压缩进少量可学习 pause token 的 KV 条目，在 32K 生成、446 道竞赛题上仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。这与 1 的草稿模型侧优化是互补关系，而非同一配置项。建议：具体配置写法请查阅 1 原文的实现/实验设置章节或其开源代码，现有摘要级资料不足以支撑。

继续追问

论文 [1] 中“限制注意力缓存”和“重定位旋转位置索引”具体是怎么实现的？vLLM 的投机解码配置中，草稿模型相关参数有哪些，长上下文下如何取舍？AbridgeKV 的 pause token 压缩方案能否与投机解码同时启用？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache