CoDA:数据引擎与动作策略协同进化
CoDA: Co-Evolution of Data Engines and Action Policies
中文摘要
由模型生成 · 人工抽检CoDA让生成式仿真数据引擎与机器人动作策略通过共享异构记忆协同进化,用视觉语言评论器诊断策略失败并生成针对性训练程序,配合Text2potential提供稠密监督。在四类操作任务上分布外成功率从5.3%提升至27.6%,LIBERO-Pro上位置扰动成功率由25%升至84%。
全文
已译中文生成式仿真可以自动化机器人环境的构建,但物理上有效的环境未必对训练有用。难点在于识别出能够针对策略失败的环境,以及帮助策略克服这些失败的监督信号。我们提出 CoDA,一个让仿真数据引擎与动作策略通过共享的异构记忆协同演化的框架,该记忆涵盖环境构建、策略失败与学习进展。该记忆将来自视觉-语言评论器(vision-language critic)的经过验证的诊断编译为生成程序与训练程序,前者用于重现困难,后者用于帮助策略克服这些困难。我们进一步提出 Text2potential,将这些诊断转化为用于动作块价值学习的分阶段势函数(staged potentials),从而为策略更新提供稠密监督,同时在标准势函数塑形假设下保持任务的最优策略不变。所测得的的学习进展指导进一步的生成与程序细化。在四个操作任务族上,CoDA 将分布外成功率从监督微调后的 5.3% 提升至 27.6%,在相同生成预算下超过最强的闭环基线 9.5 个百分点。在 LIBERO-Pro 上,15 轮生成与训练将位置扰动下的成功率从 25% 提升至 84%,将指令扰动下的成功率从 1% 提升至 76%。
本译文由模型自动生成,仅供参考与快速理解;涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站,本站不托管文件正文为原站公开内容的抓取与清洗结果,英文条目附模型生成的中文译文;两者均仅供参考, 准确内容请以原站为准。内容版权归原作者所有,若认为侵权请联系我们下线。