Value-Informed Schedule Trimming for Accelerated Sequential Monte Carlo Guidance in Discrete Diffusion

arXiv:2610.20669v1 公告类型：新

摘要：奖励引导的离散扩散能够在测试时与下游目标对齐，但在每个去噪步骤都应用 Sequential Monte Carlo (SMC) 引导的计算成本很高。活跃引导步骤需要额外的奖励评估，而对于基于梯度的提议，还需要值梯度计算。稀疏引导通过仅在一部分时间步上进行引导来降低这一成本，但常用的调度方案是固定的启发式方法，其有效性在不同任务之间可能差异很大。我们提出 VISTA，一种无需训练的方法，能够在固定预算下自动选择引导时间步。VISTA 将稀疏引导表述为对理想全引导概率路径的近似，并推导出 \(\ell_1\) 路径偏差的一个可估计上界。利用从少量全引导预热生成中收集的值统计量，VISTA 通过动态规划精确地优化由此得到的经验代理目标。预热生成可以保留为模型输出，并且在调度选择之后，VISTA 在相同预算下具有与其他稀疏调度相同的每次生成引导复杂度。在文本、生物序列和图像生成任务中，VISTA 发现了依赖于任务的调度方案，并在大多数测试设置中优于手工设计的稀疏调度，同时在若干任务指标上接近或超过全引导性能。例如，在有毒文本生成中，VISTA 达到了 0.99 的唯一有毒比率，而全引导为 1.00，同时将选择后的每次生成延迟从 204.23 s 降低到 38.16 s，实现了 5.35$\times$ 的加速。