Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards

arXiv:2610.20814v1 公告类型：新

摘要：带可验证奖励的强化学习通常在不同、可能过时的行为策略所生成的回复上训练语言模型。用学习器到行为策略的重要性权重来纠正这种不匹配，会在长回复上引入高方差。我们提出 Gibbs-Gap Policy Optimization（GGPO），它在同一提示词的各条回复之间最小化经 KL 调整奖励的对数均值指数（log-mean-exp）对比，且不使用学习器到行为策略的重要性权重。我们从 KL 正则化策略优化推导出 GGPO：在策略上，其总体损失恰好是 KL 正则化最优性差距；在合适的覆盖条件下，学习器的单条回复期望奖励至少不低于行为策略的 best-of-$K$ 奖励，减去原始有限组损失、正则化和有限训练数据对应的项。我们通过精确的 Gibbs 目标组合来刻画参考刷新，并在局部参考控制和逐 token 行为不匹配下给出有限数据最终策略奖励界。这种刷新在实证上很重要：在一项消融实验中，固定参考的 GGPO 在五个基准测试的问题加权平均上得分为 $32.96$，而采用默认刷新调度时为 $46.58$。在数学推理上的实验进一步表明，GGPO 在训练-推理不匹配下以及在固定离线数据上均优于 GRPO 和 AGRO，同时在受控的策略陈旧度增长时保持其性能。