MoCaP: Mobile Code-as-Policies for Zero-Shot Mobile Manipulation from Passive Human Videos

arXiv:2610.20998v1 公告类型：新

摘要：日常活动的被动人类视频为机器人提供了大量人类经验，而无需为每个任务提供演示。然而，利用这些经验需要从非结构化视频记录中恢复知识，并将其适配到不同的本体（即机器人）上。为克服这些挑战，我们提出移动代码即策略（mobile code-as-policy，MoCaP），这是一个智能体框架，可将被动人类视频记录转化为端到端移动操作策略的指导。MoCaP 提取空间记忆以及人们准备与物体交互方式的线索，这些信息为导航和搜索可操作配置提供依据。在被动人类经验和当前观测的引导下，MoCaP 使用闭环代码即策略来协调规划与工具使用原语，以在机器人的几何与运动学约束下求解运动。在真实的移动操作机器人上，MoCaP 在室内环境中的两个移动操作任务上均达到 80% 的成功率，而现有方法无法在该任务上取得成功。视频衍生的空间记忆将物体导航成功率从 70% 提升至 100%，人类接近先验将不利起始位置下找到可达基座位姿的比率从 0% 提升至 100%。视频与代码可在项目网站获取：https://mocap-7.github.io/MoCAP-page/。