[论文解读] Total3DUnderstanding: Joint Layout, Object Pose and Mesh Reconstruction for Indoor Scenes from a Single Image

Yinyu Nie, Xiaoguang Han+4 more|arXiv (Cornell University)|Feb 27, 2020

3D Surveying and Cultural Heritage参考文献 49被引用 8

一句话总结

本文提出 Total3DUnderstanding，一种端到端方法，可从单张图像联合进行3D场景重建，同时预测房间布局、相机位姿、3D物体边界框和详细物体网格。通过利用从粗到精的层次结构以及协同损失和全局损失的联合学习，该方法在 SUN RGB-D 和 Pix3D 数据集上实现了最先进性能，在布局估计、3D 检测和网格重建方面均优于先前方法。

ABSTRACT

Semantic reconstruction of indoor scenes refers to both scene understanding and object reconstruction. Existing works either address one part of this problem or focus on independent objects. In this paper, we bridge the gap between understanding and reconstruction, and propose an end-to-end solution to jointly reconstruct room layout, object bounding boxes and meshes from a single image. Instead of separately resolving scene understanding and object reconstruction, our method builds upon a holistic scene context and proposes a coarse-to-fine hierarchy with three components: 1. room layout with camera pose; 2. 3D object bounding boxes; 3. object meshes. We argue that understanding the context of each component can assist the task of parsing the others, which enables joint understanding and reconstruction. The experiments on the SUN RGB-D and Pix3D datasets demonstrate that our method consistently outperforms existing methods in indoor layout estimation, 3D object detection and mesh reconstruction.

研究动机与目标

• 通过从单张图像中联合学习布局、物体位姿和详细网格，弥合场景理解与3D物体重建之间的差距。
• 解决先前方法将场景理解和网格重建视为独立或孤立任务的局限性。
• 通过建模物体之间的多边关系并利用场景上下文，提升3D重建的准确性和鲁棒性。
• 开发一种可微分的基于网格的重建流水线，实现与场景级监督的联合优化。
• 通过一种密度感知的拓扑修正器减少伪影并提升网格生成的拓扑质量。

提出的方法

• 该方法采用包含三个组件的从粗到精的层次化框架：带相机位姿的房间布局、3D物体边界框和物体网格重建。
• 提出一种新颖的密度感知拓扑修正器，根据局部顶点密度修剪网格边，以改善形状逼近并避免依赖固定距离阈值。
• 设计了一种协同损失（$\mathcal{L}_{co}$），通过对齐预测和真实物体位置，强制物体检测与网格重建之间的一致性。
• 使用一种全局网格损失（$\mathcal{L}_{g}$），以最小化重建网格与真实场景点云之间的平均点到网格距离。
• 从物体提议中提取关系特征，以建模物体之间的多边依赖关系，从而提升检测和重建的准确性。
• 整个流水线通过多任务监督进行端到端训练，布局、检测和网格生成模块之间共享特征。

实验结果

研究问题

• RQ1 与独立或顺序方法相比，联合学习场景布局、物体位姿和3D网格重建是否能提升所有子任务的性能？
• RQ2 在复杂室内场景中，建模物体之间的多边关系如何提升3D检测和网格重建的性能？
• RQ3 与基于阈值的面移除方法相比，密度感知拓扑修正器在提升网格质量和鲁棒性方面有多大改善？
• RQ4 通过 $\mathcal{L}_{g}$ 实现的场景级监督与 $\mathcal{L}_{co}$ 的协同约束，是否能带来更好的对齐和重建精度？
• RQ5 场景上下文（布局和相机位姿）的引入是否能提升实例级网格重建的质量？

主要发现

• 在布局估计方面，该方法在 SUN RGB-D 数据集上实现了 59.25% 的 3D IoU，比基线高出 1.62 个百分点，创下新的最先进水平。
• 在 3D 物体检测方面，该方法实现了 26.38% 的平均精度（mAP），比基线高出 6.19 个百分点，表明联合学习带来了显著提升。
• 场景网格重建损失（$\mathcal{L}_{g}$）降低至 1.43×10⁻²，相比基线改善了 32%，表明对齐和形状准确性更高。
• 消融研究证实，同时使用 $\mathcal{L}_{co}$ 和 $\mathcal{L}_{g}$ 的联合训练表现最佳，其中 $\mathcal{L}_{g}$ 对检测和网格质量的影响最为显著。
• 与基线相比，引入关系特征使 3D 检测 mAP 提升了 3.13 个百分点，凸显了建模物体交互价值。
• 密度感知拓扑修正器在应对多样的室内物体形状和复杂背景时，优于基于阈值的面移除方法，展现出更强的鲁棒性。