GeoState 解耦视角的3D世界建模几何状态
GeoState: Learning View-Decoupled Geometry States for 3D World Modeling
中文摘要
由模型生成 · 人工抽检GeoState 提出视角解耦的几何表示，将场景状态演化与相机观测分离：场景分词器把多视角几何基础模型特征聚合为解耦场景状态，几何解码器按相机射线查询，自回归世界模型预测未来状态并单独建模相机运动。在 Waymo 上超越既有 3D 世界模型，支持跨视角一致查询并零样本泛化到 KITTI 和 nuScenes。
全文
已译中文近期的3D世界模型越来越多地使用几何基础模型（GFM）的特征作为预测性世界状态，从而受益于其丰富的几何先验。然而，这些特征的视角依赖性将场景动态与相机引起的变异纠缠在一起，使得由此产生的状态演化更难预测。我们提出GeoState，一种用于预测性3D世界建模的视角解耦几何表示，它将场景状态演化与相机相关的观测分离开来。具体而言，场景tokenizer将多视角GFM特征聚合为视角解耦的场景状态，几何解码器则使用相机射线对其进行查询。随后，一个自回归世界模型预测未来的场景状态，而相机运动则被单独建模。因此，预测的状态既可以在预测的相机下解码，也可以在外部指定的相机下解码，同时在整个rollout过程中保持单一的、由上下文推导的尺度，而无需逐帧进行尺度对齐。实验表明，GeoState在Waymo上优于先前的3D世界模型，支持几何一致的跨视角查询，并能零样本泛化到KITTI和nuScenes。项目页面：https://hongchang-liu.github.io/GeoState-project-page/
本译文由模型自动生成，仅供参考与快速理解；涉及数字、版本、命令、法律条文等请以原文为准。
原文附件
8 个 · 均跳转原站，本站不托管文件正文为原站公开内容的抓取与清洗结果，英文条目附模型生成的中文译文；两者均仅供参考， 准确内容请以原站为准。内容版权归原作者所有，若认为侵权请联系我们下线。