LICOA: Learning Instruction-Conditioned Optical Actions for Mobile Spatial Augmented Reality

arXiv:2610.21282v1 公告类型：新

摘要：空间增强现实（SAR）通过投影内容增强物理环境，但大多数系统都假设投影仪位姿、目标区域或运动路径已被固定或指定。我们转而将投影光视为一种具身动作：给定语言指令和当前视觉观测，系统必须决定如何移动，以及在何处、以何种尺度放置投影。我们提出 LICOA 来实现这一能力。其差速驱动底盘提供房间尺度的接近与重新定位能力，而具有两个自由度（2DoF）的可转向镜和投影尺度则提供对光束的快速局部控制。一个共享接口将同步的外部与机载 RGB 相机以及机器人控制状态映射为跨预训练动作模型的物理光学动作。由于指令条件化的光学动作缺乏专门的训练数据和通用的评估协议，我们构建了一个匹配的仿真具身和一个包含 150 个任务、7,500 个渲染回合的语料库，然后在先前未见过的真实世界环境中评估仅在该语料库上训练的模型。在 12 个任务上的 480 次完整闭环真实世界执行试验（rollout）中，最佳适配动作模型达到 57.50% 的成功率和 40.64% 的路径长度加权成功率，而相同架构从头训练仅为 8.33% 和 5.15%。进一步的 150 次真实世界消融实验 rollout 支持了同时使用相机视角以及协调控制底盘与镜子的必要性。这些结果建立了一个物理平台、共享感知与光学动作接口、语料库以及真实世界评估协议，用于将投影光视为一种具身动作。