Spark-0 用触觉预训练提升机器人灵巧操作

通用机器人策略受益于大规模视觉预训练，但在接触密集的灵巧操作中往往表现不佳，因为力、柔顺性和初期滑移难以从图像中观测到。我们提出 Spark-0，一个空间对齐的视觉-触觉-语言-动作（VTLA）模型，以两种互补的方式利用触觉。在预训练期间，由触觉手套导出的图像空间接触图，连同来自冻结的 3D 几何教师模型的特征，共同监督视觉 token；这些目标在推理时被移除。与此同时，一条触觉通路编码区域力历史和 3D taxel 状态，以对动作专家进行条件化。因此，单个检查点即可同时支持纯视觉部署和触觉条件化部署。为扩展这一监督，我们构建了 HumanTouch，一个包含 1,000 小时全手触觉人类操作的数据集，并将 Spark-0 与其上的第一人称视频、机器人数据和仿真数据一起进行预训练。我们还发布了 SparkArena，它在同一个灵巧本体上将纯视觉仿真任务与触觉条件化的真实机器人任务配对。Spark-0 在 SparkArena 的两个赛道均取得最高平均成功率，并在 Ego Humanoid Manipulation Benchmark 的全部八项聚合指标上排名第一。与在相同数据和算力下丢弃触觉的纯视觉预训练相比，保留 1,000 小时 HumanTouch 的触觉使 Ego Humanoid 上的纯视觉成功率从 52.5% 提升至 71.7%，并使 SparkArena-Real 上的成功率（该任务在部署时也使用触觉）从 44.0% 提升至 52.0%，这表明触觉不仅是策略的输入，也是灵巧视觉运动预训练的可扩展监督。网站见：https://xsparkai.com/Spark-0。