具身智能arXiv cs.RO4 天前
Causal Analysis of Robot Foundation Models Enables Efficiency Gains
研究对三个前沿视觉-语言-动作(VLA)模型做机制性因果分析,发现动作专家仅通过中后段少量交叉注意力层(动作条件接口)接收关键信息,且物体选择与空间信息分层存储。据此将 MolmoBot 的条件层从 36 层减至 3 层,推理 FLOPs 降 33%,3000 次评测成功率基本持平,并已在真机部署验证。
每日自动追踪全球权威信源,模型生成中文摘要与有效期判断,人工抽检把关。 不追热点,只留经得起推敲的那一部分。
AI 与可被 AI 赋能的行业方向,每个领域独立成脉
共 3 条符合条件
研究对三个前沿视觉-语言-动作(VLA)模型做机制性因果分析,发现动作专家仅通过中后段少量交叉注意力层(动作条件接口)接收关键信息,且物体选择与空间信息分层存储。据此将 MolmoBot 的条件层从 36 层减至 3 层,推理 FLOPs 降 33%,3000 次评测成功率基本持平,并已在真机部署验证。
Verdict-MQ 提出一种共享状态编码器:对同一份输入只编码一次,用结构化注意力掩码让状态表示与问题无关、问题之间互不影响、选项顺序无关,从而一次回答多个类型化决策问题。395M 模型在类型化决策基准上优于 421M 专用模型,但 RACE/BoolQ 上不及微调基线。
LEV 是一种循环决策模型,通过重复运行层而非生成 token 来加深推理,单次前向即可对选项打分。同一权重下精度随循环深度提升,2.6B 模型在 JevBench 上从深度1的63.2%升至深度4的76.2%,并用小型停止器按需分配深度,节省15%-24%算力。