[论文解读] Recognizing Scenes from Novel Viewpoints

Shengyi Qian, Alexander Kirillov+5 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Vision and Imaging参考文献 65被引用 4

一句话总结

本文提出 ViewSeg，一种端到端模型，仅通过少量 RGB 图像和相机位姿即可学习 3D 场景表征，从而在无需访问新视角 RGB 图像的情况下实现零样本语义分割与深度预测。该方法通过仅使用 2D 多视角标注和相机位姿联合优化语义与几何，实现了在 Hypersim 和 Replica 数据集上的最先进性能，展示了对复杂、未见的室内场景的强大泛化能力。

ABSTRACT

Humans can perceive scenes in 3D from a handful of 2D views. For AI agents, the ability to recognize a scene from any viewpoint given only a few images enables them to efficiently interact with the scene and its objects. In this work, we attempt to endow machines with this ability. We propose a model which takes as input a few RGB images of a new scene and recognizes the scene from novel viewpoints by segmenting it into semantic categories. All this without access to the RGB images from those views. We pair 2D scene recognition with an implicit 3D representation and learn from multi-view 2D annotations of hundreds of scenes without any 3D supervision beyond camera poses. We experiment on challenging datasets and demonstrate our model's ability to jointly capture semantics and geometry of novel scenes with diverse layouts, object types and shapes.

研究动机与目标

• 使 AI 代理能够仅通过少量 2D 图像和相机位姿，从新视角识别和理解场景。
• 在仅提供相机位姿的 3D 注释之外，联合学习场景的语义理解与 3D 几何结构。
• 弥合 2D 场景理解、3D 场景重建与复杂室内环境的新视角合成之间的差距。
• 开发一种能够泛化到真实场景中多样化布局、物体类型与形状的模型。

提出的方法

• ViewSeg 使用多视角 2D 监督设置，输入为 RGB 图像、语义分割图和相机位姿。
• 它采用 3D 隐式神经表征（例如基于 NeRF 风格的体素渲染）来隐式编码场景的几何与语义信息。
• 通过使用目标相机位姿查询 3D 表征，模型预测新目标视角的语义分割与深度图。
• 采用多任务损失联合优化语义分割与深度预测，仅使用 2D 标注和相机位姿进行端到端训练。
• 该架构集成了 2D 主干网络（如 DeepLabV3+）用于特征提取，以及 3D 渲染头用于可微分的视角生成。
• 在 Replica 等目标数据集上进行微调可提升性能，表明其在 Hypersim 上预训练后具备强大的零样本泛化能力。

实验结果

研究问题

• RQ1 模型能否仅通过 2D 图像和相机位姿，在无任何 3D 监督的情况下，实现从新视角的语义分割？
• RQ2 与单独或顺序处理的方法相比，同时优化语义与几何是否能提升 3D 理解与分割精度？
• RQ3 该模型在具有多样化布局与物体类型的复杂真实室内场景中，泛化能力如何？
• RQ4 在训练期间缺乏真实深度监督的情况下，语义监督在多大程度上提升了深度估计性能？

主要发现

• 在微调后，ViewSeg 在 Replica 测试集上实现了 30.2 的 mIoU，显著优于基线方法。
• 在 Hypersim 数据集中，ViewSeg 实现了 30.2 的 mIoU 和 0.130 的深度相对误差（Rel），表明其在具有挑战性的多样化场景中表现优异。
• 当使用语义监督进行训练时，模型的深度预测精度得到提升，表明语义信息可增强几何理解。
• 在 Replica 上微调后，mIoU 从无微调时的 13.2 提升至 30.2，表明其对新场景统计特性的强适应能力。
• 作为参考的“理想模型”（在 Replica 上完全监督）实现了 56.2 的 mIoU，表明 ViewSeg 在无 3D 监督下实现的零样本性能具有竞争力。
• 消融实验表明，语义监督可显著提升深度估计性能，当引入语义损失时，深度误差降低 40%（Rel 从 0.222 降至 0.130）。