Evo-DexBench: Benchmarking Generalization across Related Tasks for Dexterous Manipulation

arXiv:2610.21180v1 公告类型：新

摘要：通用灵巧操作要求策略能够仅凭少量目标演示，就将相关知识从相关任务迁移到新任务。现有基准测试往往提供过多的目标演示，同时对源任务与目标任务之间的差异缺乏控制。因此，它们无法清晰区分知识迁移与任务记忆。我们的核心洞见是 Core-Gen 原则。Core 任务是指共享功能交互并提供源知识的相关任务，而 Gen 任务则是同一功能族内仅有少量演示的新颖目标任务。这一设置检验策略能否复用功能交互知识。基于该原则，我们提出了 Evo-DexBench，它同时控制源任务相关性与目标任务暴露程度。该基准包含六个功能族中的 30 个任务以及一条 VR 遥操作流水线。由此生成的数据集覆盖每个任务的三个日常场景，包含使用配备 123 个 taxel 的仿真 Shadow Hand 采集的 1,248 条多模态演示。实验表明，即使表现最佳的方法平均成功率也仅为 38.5%，凸显了现有方法在迁移功能交互知识方面所面临的挑战。进一步分析表明，在两个任务上，Core+Gen 联合训练相比先在 Core 上训练再在 Gen 上微调，性能分别提升了 12% 和 38%。这表明联合训练能更好地利用 Core 知识，并且功能匹配的 Core 数据比不匹配的数据在成功率上带来更大增益。我们发布 Evo-DexBench 数据集与基准测试，以支持对灵巧操作策略在相关任务间泛化能力的评估。