MAI-Gym: An Open All-in-One Platform for GUI Agent Evaluation and RL Training across Mobile and Computer Environments

arXiv:2610.20939v1 公告类型：新

摘要：带有可验证奖励的在线强化学习（RL）已推动数学、编程和工具使用领域的快速进展，但将这一成功扩展到 GUI 智能体仍面临挑战，原因在于交互环境成本高昂且真实训练任务稀缺。我们推出 MAI-Gym，这是一个开源的一体化平台，统一了跨移动端、计算机和 Web 环境的 GUI 智能体评估、数据收集与在线 RL 训练。通过共享的 rollout 流水线，MAI-Gym 确保智能体在评估与训练中行为一致，支持十项成熟基准测试，并可扩展至 20,000 个并行环境实例。除可扩展的基础设施外，MAI-Gym 还能自动合成多样化的 GUI 应用与具有挑战性的任务，包括可重置的模拟应用（mocked apps）以及具有执行验证任务验证器的连贯跨应用世界。借助 MAI-Gym，我们训练了 MAI-Gym-9B，这是一个面向移动端与计算机使用的统一 9B 智能体，在 10B 参数以下的开源 GUI 智能体中取得了 SOTA 性能：MobileWorld 上 78.4%，OSWorld-Verified 上 76.2%。重要的是，在模拟的火车票预订应用中进行的 RL 可迁移至其真实世界对应版本，使物理手机上的任务成功率从 28.8% 提升至 48.1%。我们发布该框架、合成技能、模拟应用、2,000 个已验证任务以及模型检查点，以支持可复现研究并推动可扩展 GUI 智能体训练的进一步进展。