Long-Context Drafting Does Not Require Long-Context Drafters

arXiv:2610.20865v1 公告类型：新

摘要：投机解码将廉价的起草器与针对目标模型的并行验证配对。在超长上下文下，这种做法不再划算，因为一个需要对完整前缀进行注意力的起草器会继承目标模型依赖于上下文的成本，于是它本应提供的加速先是衰减，继而逆转。标准的应对方式是构建一个长上下文起草器，方法包括训练或微调一个起草器，或者使用目标检查点内置的多 token 预测头。我们认为这没有必要，因为实际使用的起草器是以目标模型为条件的，读取的是目标模型在整个前缀上计算出的隐藏状态，因此远端上下文无需起草器自身的注意力即可到达它，而验证会纠正它遗漏的内容。因此，我们冻结已发布的短上下文起草器，并在两种推理时机制下让它们远超其训练长度运行：一种机制限制它们所看到的注意力缓存，从而固定其成本；另一种机制将其旋转位置索引重新基准化到训练范围内。不触碰任何权重，且唯一的可调参数很早就饱和，因此一份 vLLM 侧配置即可覆盖 4k 到两百万 token，在短长度下最多只损失 0.16x 的加速。我们证明了在何种条件下一种常见的索引平移会使起草器的计算完全不变，并将接受率分解为两个可测量的差距，且给出紧致的界。无论冻结的起草器在短上下文下能带来多大的加速，它都能保持到两百万 token，覆盖三对目标-起草器组合和五个语料库。该主张关注的是平坦性而非倍数，且移除任一机制都会使其消失。这一收益的条件是：每个输出 token 的投机成本保持在匹配的纯目标成本之下。