[论文解读] Predicting Complete 3D Models of Indoor Scenes

Ruiqi Guo, Chuhang Zou+1 more|arXiv (Cornell University)|Apr 9, 2015

Advanced Neural Network Applications参考文献 40被引用 51

一句话总结

该论文提出一种数据驱动方法，通过生成物体和布局提议、将这些提议与训练集中3D范例匹配，并基于深度、外观和空间约束选择一致子集，从而从单张RGBD图像预测完整室内场景的3D模型。该方法在体素占据精度和深度预测方面表现优异，有效推断了被遮挡的几何结构和完整的场景布局。

ABSTRACT

One major goal of vision is to infer physical models of objects, surfaces, and their layout from sensors. In this paper, we aim to interpret indoor scenes from one RGBD image. Our representation encodes the layout of walls, which must conform to a Manhattan structure but is otherwise flexible, and the layout and extent of objects, modeled with CAD-like 3D shapes. We represent both the visible and occluded portions of the scene, producing a complete 3D parse. Such a scene interpretation is useful for robotics and visual reasoning, but difficult to produce due to the well-known challenge of segmentation, the high degree of occlusion, and the diversity of objects in indoor scene. We take a data-driven approach, generating sets of potential object regions, matching to regions in training images, and transferring and aligning associated 3D models while encouraging fit to observations and overall consistency. We demonstrate encouraging results on the NYU v2 dataset and highlight a variety of interesting directions for future work.

研究动机与目标

• 从单张RGBD图像推断完整3D几何模型，包括可见和被遮挡的表面与物体。
• 通过生成完整、结构化的3D布局与物体解析，弥合详细几何重建与粗粒度解释性建模之间的差距。
• 通过数据驱动的、基于范例的方法结合一致性约束，解决遮挡、物体多样性与分割模糊性等挑战。
• 通过提供具有空间与语义结构的精确、可解释3D场景表示，支持机器人与视觉推理任务。

提出的方法

• 使用学习或启发式区域生成方法，从输入RGBD图像中提出大量候选3D布局（如墙壁、地板）和物体区域。
• 利用外观和几何特征，将每个提议的物体区域与训练数据集中相似的区域进行匹配。
• 将训练集中的3D CAD类范例迁移并配准到输入图像上，确保与观测到的深度和表面几何一致。
• 通过强制执行深度拟合、空间占据约束和布局一致性（如墙壁的曼哈顿结构）来选择一致的提议子集。
• 将最终场景表示为体素化物体和表面模型的并集，评估时采用0.03m网格分辨率。
• 采用深度容错体素评估方法，ε = 0.05 × depth，以考虑传感器噪声和标注误差。

实验结果

研究问题

• RQ1 基于数据驱动与范例的方法能否有效从单张RGBD图像预测完整3D场景布局与物体范围，包括被遮挡区域？
• RQ2 该方法在具有不同物体类型、布局和遮挡模式的多样化室内场景中，泛化能力如何？
• RQ3 与基线方法（如边界框估计）相比，使用学习到的提议与范例迁移在性能上提升程度如何？
• RQ4 该方法在重建准确3D几何与占据情况方面表现如何，特别是在被遮挡或模糊区域？

主要发现

• 所提方法在保持精度仅下降5%的情况下，实现了63%的被遮挡自由空间召回率，优于不召回任何被遮挡自由空间的传感器深度基线方法。
• 与使用真实分割结果并进行10%异常值剔除的基线相比，占据精度显著提升，证明了提议与选择流程的有效性。
• 使用自动区域提议的模型（'Ours-Auto'）在占据精度上与使用真实标注提议的模型（'Ours-Annotated'）相当，表明对提议质量具有鲁棒性。
• 体素预测的精确率高于召回率，表明误报少于漏检，说明该方法在物体生成方面较为保守。
• 实例分割性能（MeanCovW = 0.505）低于真实标注（0.583）和基线（0.533），反映出由于3D渲染约束导致边界对齐困难。
• 定性结果表明，布局与物体范围估计较为合理，但仍存在大物体分割困难、小物体遗漏以及形状迁移过程中语义保持不足等问题。