AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

范围：站内优先仅站内全网全网通道：bing

大家都在搜：vLLM10 alignment8 post-training7 pretraining7 training7 fine-tuning6 multi-agent6 agent5

AI 答案

资料有限基于 2 条来源 · 引用可点击溯源

现有资料只能确认 vLLM 在两篇论文中作为推理引擎/实验平台出现，无法给出 vLLM 本身的架构、版本或通用性能结论。 资料中与 vLLM 相关的可确认事实：

长上下文投机解码的部署侧改动：论文提出冻结短上下文草稿器，通过「限制注意力缓存」和「重定位旋转位置索引」两个推理期机制，让草稿器在 200 万 token 下仍保持短上下文时的加速比，且无需修改权重；在 vLLM 侧只需单一配置即可覆盖 4k 到 2M token 的场景1。
KV 缓存压缩的收益：AbridgeKV 将已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，后续 token 改为关注这些 pause token；在 AIME 等 446 道竞赛题、32K 生成条件下，仅保留四分之一缓存即可匹配全 KV 模型精度，在 vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍2。

说明：两条资料都只是把 vLLM 当作实现或评测载体，未涉及 vLLM 的调度策略、PagedAttention、版本号等信息，因此关于 vLLM 本身的问题（如安装、配置项、吞吐对比）现有资料不足以回答。

继续追问

vLLM 中如何配置以支持 2M token 的长上下文投机解码？AbridgeKV 的 pause token 机制在 vLLM 中如何实现缓存释放？这两项工作与 vLLM 原生的 PagedAttention 有何关系？

参考来源

2 条

1站内Long-Context Drafting Does Not Require Long-Context Drafters论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。arXiv cs.LGhttps://arxiv.org/abs/2610.20865 2站内AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause TokensAbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。arXiv cs.CLhttps://arxiv.org/abs/2610.20641

AI 答案正在检索与综合…

站内相关条目

2 条 · 点击可看原文全文与中文译文

返回信息流

部署

Long-Context Drafting Does Not Require Long-Context Drafters

论文指出超长上下文下投机解码的加速会消失，因为草稿模型需处理完整前缀。作者提出无需训练长上下文草稿模型：冻结短上下文草稿器，通过限制注意力缓存和重定位旋转位置索引两个推理期机制，让其在200万token下保持短上下文时的加速比，无需改权重，vLLM侧单一配置即可覆盖4k到2M token。

部署与算力·arXiv cs.LG·4 天前

#speculative-decoding

部署

AbridgeKV: Compressing Long Reasoning into the KV Cache of Learned Pause Tokens

AbridgeKV 训练模型把已完成的长推理文本块压缩进少量可学习 pause token 的 KV 条目，从而释放原始缓存，后续 token 改为关注这些 pause token。在 AIME 等 446 道竞赛题、32K 生成下，仅保留四分之一缓存即可匹配全 KV 模型精度，vLLM 中单序列缓存缩小 3.5 倍、H100 完成速度提升 3.2 倍。

部署与算力·arXiv cs.CL·4 天前

#kv-cache