AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料不足以给出 vLLM 中为长上下文场景配置草稿模型与目标模型的完整操作步骤（如具体参数名、启动命令、配置字段），只能确认两条与配置思路相关的研究结论。 1. 草稿模型侧：不需要长上下文草稿器，vLLM 侧单一配置即可覆盖 4k–2M token

论文指出，超长上下文下投机解码的加速会消失，原因是草稿模型需要处理完整前缀1。
作者的方案是冻结短上下文草稿器，不改权重，仅通过两个推理期机制让其适配长上下文：限制注意力缓存与重定位旋转位置索引1。
该方案在 200 万 token 下仍保持短上下文时的加速比，并且 vLLM 侧单一配置即可覆盖 4k 到 2M token1。
也就是说，配置上不需要为长上下文单独准备一个长上下文草稿模型，草稿模型可以保持短上下文版本1。

2. 目标模型侧：可通过 KV 缓存压缩缓解长上下文显存压力

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，释放原始缓存，后续 token 改为关注这些 pause token2。
在 32K 生成、446 道竞赛题（AIME 等）上，仅保留四分之一缓存即可匹配全 KV 模型精度2。
在 vLLM 中单序列缓存缩小 3.5 倍，H100 上完成速度提升 3.2 倍2。

3. 资料未覆盖的部分

两份资料均未给出 vLLM 的具体配置项名称、示例命令或代码，也未说明草稿模型与目标模型在 vLLM 中如何成对声明、如何设置投机 token 数、如何与上述缓存/位置索引机制对接1 2。
因此无法给出可直接执行的配置片段。

结论：从资料可确认的配置方向是——长上下文场景下草稿模型可沿用短上下文版本，靠推理期机制（限制注意力缓存、重定位旋转位置索引）扩展，且 vLLM 侧单一配置覆盖 4k–2M1；目标模型侧可借助 KV 缓存压缩降低单序列缓存占用2。具体配置写法需查阅 vLLM 官方文档或论文原文。

继续追问

限制注意力缓存和重定位旋转位置索引这两个机制在 vLLM 中具体对应哪些配置项？vLLM 中投机解码的草稿模型与目标模型如何成对声明，需要哪些启动参数？AbridgeKV 的 pause token 压缩方案如何接入 vLLM 的 KV 缓存管理？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·5 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·5 天前

#kv-cache