多奖励强化学习的奖励相关token级信用分配
Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL
中文摘要
由模型生成 · 人工抽检针对多奖励RL中GDPO将各奖励优势均匀铺满整条回复的问题，提出MRTPO：利用各验证器实际检查的信息，通过对比有无该验证器信息时策略的下一token分布，用逐token的Jensen-Shannon距离衡量相关性并重新分配优势，无需辅助模型或token级标注。在text-to-SQL、多约束指令跟随和工具调用上收敛更快、效果更好。
全文
已译中文语言模型越来越多地同时针对多个可验证奖励进行训练，例如工具调用的正确性与格式，或复杂指令的各项单独约束。奖励解耦归一化（GDPO）对每个奖励分别进行归一化，使不同的奖励组合保持各自不同的优势，但它仍然将每个奖励的优势均匀地分摊到整个回复上，尽管每个验证器只检查少数几个位置。我们提出 MRTPO，它利用各奖励验证器所检查的信息，将每个奖励的优势分配给与其相关的 token，无需辅助模型或 token 级标注。对于每个奖励，策略在包含和不包含该奖励验证器信息的情况下分别重放自身的回复，并通过两次下一 token 分布之间的逐 token Jensen-Shannon 距离来衡量每个 token 的相关性，进而重新分配优势。在 text-to-SQL、多约束指令遵循和工具调用任务上，MRTPO 相比对比方法收敛更快、性能更优。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。