Causal Analysis of Robot Foundation Models Enables Efficiency Gains
中文摘要
由模型生成 · 人工抽检研究对三个前沿视觉-语言-动作（VLA）模型做机制性因果分析，发现动作专家仅通过中后段少量交叉注意力层（动作条件接口）接收关键信息，且物体选择与空间信息分层存储。据此将 MolmoBot 的条件层从 36 层减至 3 层，推理 FLOPs 降 33%，3000 次评测成功率基本持平，并已在真机部署验证。
全文
已译中文arXiv:2610.20750v1 公告类型：新
摘要：视觉-语言-动作（VLA）模型是实现通用机器人操作的一条有前景的路径。视觉-语言模型构成了 VLA 的主干，尽管其内部计算已被广泛研究，但人们对于在 VLA 模型中其感知与语义表征如何被转化为动作却知之甚少。我们在三个前沿 VLA 模型（$\pi_{0.5}$、MolmoAct2 和 MolmoBot）中以机制可解释的方式研究这一问题，分析输入图像与指令塑造动作所经由的因果路径。在三个模型中，激活修补（activation patching）表明，因果相关的信息通过一个狭窄的中后段交叉注意力层带影响动作专家（action expert，AE），我们将该层带称为动作条件接口（action-conditioning interface）。这一信息的内容随模型内的 token 和层而变化。目标名词 token 的早中段层表征决定了选择哪个物体，而中后段层则在文本 token 中携带空间信息，在修补时重定向运动。空间信息在提示词 token 中的存储位置因架构而异。在 MolmoAct2 中，模型在指令之后的文本位置形成任务条件表征，而 $\pi_{0.5}$ 还会将此信息存储在图像 token 位置。我们表明，这些发现可以直接转化为模型效率的提升。我们发现，将 MolmoBot 的动作专家条件化限制为 36 层中的仅 3 层，可将推理 FLOPs 降低最多 $33\%$，同时在 3,000 个评估回合中保持与默认模型相当的任务成功率（$46.7\%$ 对 $46.9\%$），并且同一原则可推广至 $\pi_{0.5}$ 的真实机器人部署。
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
2 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。