AI 搜索

带引用 · 可溯源

先用站内已采集内容作答；站内不足时联网检索，每条结论都给出来源链接

大家都在搜：vLLM12 AbridgeKV 在 vLLM 中的实现改动涉及哪些模块？10 agent10 alignment10 fine-tuning10 multi-agent10 post-training10 pretraining10

AI 答案

资料有限基于 4 条来源 · 引用可点击溯源

现有资料不足以直接回答「直接用人类第一视角视频训练 VLA 的主要失败模式」这一问题——4 条资料中只有 2 涉及人类第一视角（egocentric）演示用于 VLA 训练，且它描述的是解决方案而非失败模式清单，其余资料均不涉及该主题。以下是资料中能确认的相关部分：

[2] 承认了原始人类第一视角数据不能直接用于训练：KODA 的做法是把人类第一视角 RGB 演示转换为类人机器人全身 VLA 训练数据，而非直接拿来训练——先用稀疏追踪与采样优化生成经仿真校验的规范全身轨迹，再据此合成机器人视角观测，并为不同控制器生成状态-动作监督2。这暗示原始人类视频与机器人训练之间存在需要弥合的差距（视角/形态/动作监督层面），但资料未明确列出「直接训练会怎样失败」。
[2] 给出了间接的收益证据：在机器人数据不变的情况下，采用该对齐流程后 Unitree G1 四项任务上未见条件成功率提升约 45 个百分点，并降低了对昂贵机器人演示的依赖2。这从反面说明未对齐的人类数据价值有限，但资料未量化「直接训练」的失败幅度。
其他资料与问题无直接关系：1 讲基于程序化辅助记忆的主动机器人框架与 VLM/VLA 分工；3 分析 VLA 内部表征几何（概念多为多维、受物理约束塑造）；4 做 VLA 机制性因果分析并压缩动作条件层。三者均未讨论人类第一视角视频训练 VLA 的失败模式。

若需要该问题的实证答案，建议补充专门研究 egocentric 人类视频预训练/跨形态迁移失败原因的实验类文献。

继续追问

KODA 中「仿真校验的规范全身轨迹」具体如何生成，失败率或校验不通过率是多少？人类第一视角视频与机器人视角之间的形态差异（embodiment gap）在 VLA 训练中通常如何量化？除 KODA 外，还有哪些工作尝试用人类 egocentric 视频做 VLA 预训练，它们的失败模式有何异同？

参考来源

4 条

1站内An Agentic Framework for Proactive Robots with Procedural Assistance Memory提出基于记忆的主动机器人框架，用程序化辅助记忆（PAM）以有限状态机记录活动阶段与辅助规则，VLM 任务预测器结合当前观察决定何时辅助及执行何种任务，VLA 执行器完成任务，反思 VLM 每日更新记忆无需重训。5 天桌面辅助实验中精度、召回与 F1 持续提升，首次触发延迟从 5 秒降至 1 秒。arXiv cs.ROhttps://arxiv.org/abs/2610.21211 2站内KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric DemonstrationKODA 提出将人类第一视角 RGB 演示转换为类人机器人全身 VLA 训练数据的方法：用稀疏追踪与采样优化生成经仿真校验的规范全身轨迹，据此合成机器人视角观测，并为不同控制器生成状态-动作监督。在 Unitree G1 四项任务上，机器人数据不变时未见条件成功率提升约 45 个百分点，降低了对昂贵机器人演示的依赖。arXiv cs.ROhttps://arxiv.org/abs/2610.21152 3站内A Phenomenology of Neural Geometry in Vision-Language-Action Models该论文研究视觉-语言-动作（VLA）策略内部表征的几何形状，通过线性探针与激活干预，对七个任务相关概念建立分类体系。发现概念几何多为多维且受物理约束塑造，如关节限位使腕部朝向呈弧而非圆，距离由粗/细两个正交子空间表示。该几何在多个模型与真实数据中复现，并可用于引导操控，表明概念形状与可读性同等重要。arXiv cs.ROhttps://arxiv.org/abs/2610.20840 4站内Causal Analysis of Robot Foundation Models Enables Efficiency Gains研究对三个前沿视觉-语言-动作（VLA）模型做机制性因果分析，发现动作专家仅通过中后段少量交叉注意力层（动作条件接口）接收关键信息，且物体选择与空间信息分层存储。据此将 MolmoBot 的条件层从 36 层减至 3 层，推理 FLOPs 降 33%，3000 次评测成功率基本持平，并已在真机部署验证。arXiv cs.ROhttps://arxiv.org/abs/2610.20750

AI 答案正在检索与综合…

站内相关条目

4 条 · 点击可看原文全文与中文译文

返回信息流

具身

An Agentic Framework for Proactive Robots with Procedural Assistance Memory

提出基于记忆的主动机器人框架，用程序化辅助记忆（PAM）以有限状态机记录活动阶段与辅助规则，VLM 任务预测器结合当前观察决定何时辅助及执行何种任务，VLA 执行器完成任务，反思 VLM 每日更新记忆无需重训。5 天桌面辅助实验中精度、召回与 F1 持续提升，首次触发延迟从 5 秒降至 1 秒。

具身智能·arXiv cs.RO·5 天前

#robotics

具身

KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration

KODA 提出将人类第一视角 RGB 演示转换为类人机器人全身 VLA 训练数据的方法：用稀疏追踪与采样优化生成经仿真校验的规范全身轨迹，据此合成机器人视角观测，并为不同控制器生成状态-动作监督。在 Unitree G1 四项任务上，机器人数据不变时未见条件成功率提升约 45 个百分点，降低了对昂贵机器人演示的依赖。

具身智能·arXiv cs.RO·5 天前

#vla

具身

A Phenomenology of Neural Geometry in Vision-Language-Action Models

该论文研究视觉-语言-动作（VLA）策略内部表征的几何形状，通过线性探针与激活干预，对七个任务相关概念建立分类体系。发现概念几何多为多维且受物理约束塑造，如关节限位使腕部朝向呈弧而非圆，距离由粗/细两个正交子空间表示。该几何在多个模型与真实数据中复现，并可用于引导操控，表明概念形状与可读性同等重要。

具身智能·arXiv cs.RO·5 天前

#vla

具身

Causal Analysis of Robot Foundation Models Enables Efficiency Gains

研究对三个前沿视觉-语言-动作（VLA）模型做机制性因果分析，发现动作专家仅通过中后段少量交叉注意力层（动作条件接口）接收关键信息，且物体选择与空间信息分层存储。据此将 MolmoBot 的条件层从 36 层减至 3 层，推理 FLOPs 降 33%，3000 次评测成功率基本持平，并已在真机部署验证。

具身智能·arXiv cs.RO·5 天前

#vla