KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration

arXiv:2610.21152v1 公告类型：新

摘要：训练人形全身视觉-语言-动作（VLA）策略需要昂贵的机器人演示数据，且这些数据需具备对齐的机器人视角观测以及与控制器兼容的全身状态-动作标签。以自我为中心的人类演示数据提供了可扩展的监督信号，但存在视角不对齐和运动线索稀疏的问题。现有方法要么预训练的策略仍需机器人数据进行适配，要么生成控制器特定的指令从而限制了复用性。数据转换还需要与生成的全身运动对齐的机器人视角观测。我们提出 KODA（Kinematics-Observation Data Alignment，运动学-观测数据对齐），该方法利用可复用的规范轨迹将自我中心 RGB 演示数据转换为全身 VLA 训练数据，以指导机器人视角合成并生成控制器特定的全身状态-动作监督。KODA 首先使用稀疏跟踪器结合基于采样的指令优化，生成经仿真器校验的全身轨迹。该生成的轨迹直接确定用于合成对应机器人视角观测的机载相机位姿。运动、观测和任务指令构成一条规范记录。对于每个部署控制器，KODA 优化指令以跟踪所存储的运动，并记录相应的动作标签和本体感受状态。切换控制器时，KODA 保留该规范记录，并重新生成全身状态-动作监督，以与匹配的机器人演示数据进行联合训练。我们在四个 Unitree G1 移动操作任务上使用两种全身控制器 SONIC 和 HEFT 对 KODA 进行评估。在机器人数据保持固定的条件下，对于人类演示覆盖但机器人数据中缺失的条件，宏平均成功率分别提升了 45.0 和 46.25 个百分点。在两种控制器下，该指标在所评估的人类数据预算范围内均呈上升趋势，表明具有进一步扩展的潜力。