推测强制加速自回归视频生成
Speculative Forcing for Efficient Autoregressive Video Generation
中文摘要
由模型生成 · 人工抽检针对少步自回归视频生成中所有 token 都跑完最终去噪步的浪费问题,提出 Speculative Forcing 框架,将中间干净估计作为草稿,预测哪些 token 可提前接受并冻结,同时保留其 KV 缓存作为上下文。在短视频、长视频和世界生成任务上保持全步采样质量,LongLive 上每 token 约 1.7 步去噪、提速超 1.5 倍。
全文
已译中文少步自回归视频生成器能够实现流式生成,但它们会让每个 token 都经过最终的去噪步骤,而不考虑该 token 实际需要多少细化。我们发现这种统一计算往往是不必要的:许多 token 在初始步骤中就已经与其最终的全步输出非常接近,而另一些 token 则需要一直细化到最后。我们提出 Speculative Forcing,这是一个将中间干净估计视为草稿、并预测各个 token 何时可以被安全提前接受的框架。一旦被接受,该 token 就被冻结为其最终输出,不再经历进一步去噪,同时其缓存的键和值仍可作为上下文供剩余 token 使用。我们探索了两种替代的验证器设计:一种无需训练的验证器,基于与干净内容的相似性以及跨步骤的稳定性;另一种是学习得到的验证器,读取冻结生成器的中间特征来估计每个 token 与其全步输出之间的剩余差距。在短视频、长视频和世界生成任务中,Speculative Forcing 在保持全步采样质量的同时大幅降低了计算量。在 LongLive 上,它以每个 token 约 1.7 个去噪步骤匹配四步生成器,在 41.7 和 37.8 fps 下运行速度提升超过 1.5 倍。在 Lingbot-World 2.0 上,由于相机运动不断改变可见内容,它以每个 token 约 2.5 个去噪步骤保持质量,并以 24.5 fps 运行,速度提升 1.35 倍。
本译文由模型自动生成,仅供参考与快速理解;涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站,本站不托管文件正文为原站公开内容的抓取与清洗结果,英文条目附模型生成的中文译文;两者均仅供参考, 准确内容请以原站为准。内容版权归原作者所有,若认为侵权请联系我们下线。