大模型arXiv cs.LG4 天前
Gibbs-Gap Policy Optimization for Off-Policy RL with Verifiable Rewards
提出 GGPO，一种面向可验证奖励的离策略强化学习算法，通过最小化同一提示下响应的 KL 调整奖励的对数均值指数对比，避免学习者到行为策略的重要性权重，从而降低长响应的高方差。实验显示其在数学推理上优于 GRPO 和 AGRO，并能在策略陈旧度增大时保持性能。
每日自动追踪全球权威信源，模型生成中文摘要与有效期判断，人工抽检把关。 不追热点，只留经得起推敲的那一部分。
AI 与可被 AI 赋能的行业方向，每个领域独立成脉
共 1 条符合条件
提出 GGPO，一种面向可验证奖励的离策略强化学习算法，通过最小化同一提示下响应的 KL 调整奖励的对数均值指数对比，避免学习者到行为策略的重要性权重，从而降低长响应的高方差。实验显示其在数学推理上优于 GRPO 和 AGRO，并能在策略陈旧度增大时保持性能。