[论文解读] Pano Popups: Indoor 3D Reconstruction with a Plane-Aware Network

Marc Eder, Pierre Moulon+1 more|arXiv (Cornell University)|Jul 1, 2019

Advanced Vision and Imaging参考文献 29被引用 4

一句话总结

本文提出一种平面感知卷积神经网络，通过基于主曲率的新型损失函数，从单张 $360^\circ$ 室内图像中预测深度、表面法线和平面边界，从而提升几何一致性。该方法在单目全景深度与法线估计任务中达到最先进性能，并通过结合预测结果与测地坐标图作为先验，实现了高质量的3D '弹出'重建效果。

ABSTRACT

In this work we present a method to train a plane-aware convolutional neural network for dense depth and surface normal estimation as well as plane boundaries from a single indoor $360^\circ$ image. Using our proposed loss function, our network outperforms existing methods for single-view, indoor, omnidirectional depth estimation and provides an initial benchmark for surface normal prediction from $360^\circ$ images. Our improvements are due to the use of a novel plane-aware loss that leverages principal curvature as an indicator of planar boundaries. We also show that including geodesic coordinate maps as network priors provides a significant boost in surface normal prediction accuracy. Finally, we demonstrate how we can combine our network's outputs to generate high quality 3D "pop-up" models of indoor scenes.

研究动机与目标

• 为解决利用 $360^\circ$ 全景图像在室内场景中进行单视角3D重建的挑战，此类图像相比透视图像具有更宽的视场角。
• 通过引入平面性与曲率等几何先验，提升全景图像的深度与表面法线估计精度。
• 开发一种方法，仅基于单张 $360^\circ$ 图像，结合预测的深度、法线与平面边界，生成高质量的3D平面模型（'弹出'模型）。
• 证明测地坐标图可作为有效先验，用于增强球面图像表示中表面法线预测的性能。
• 建立平面边界检测与表面法线预测在 $360^\circ$ 图像上的基准，该领域在现有文献中尚属研究不足。

提出的方法

• 采用多尺度编码器-解码器CNN架构，为深度与表面法线及曲率预测分别设置独立的解码器分支。
• 提出一种新型平面感知损失函数，根据每个像素的主曲率调节其对损失的贡献，从而促进预测结果的平面一致性。
• 将测地坐标图作为额外输入通道，帮助网络学习球面图像表面上的空间关系，从而提升法线估计性能。
• 通过独立的头部检测表面法线中的不连续性以预测平面边界，并使用Otsu阈值法对连通区域进行分割，用于3D模型生成。
• 通过结合法线与深度信息，利用RANSAC估计平面方程，随后在二十面体网格上进行反投影与网格化，完成3D平面模型的重建。
• 网络采用端到端训练方式，损失函数由深度、法线与曲率监督组成，其中曲率由预测的法线推导得出。

Figure 1 : Visualization of our paper’s contributions. Given an RGB omnidirectional image (top), we predict depth, surface normals, and plane boundary maps (middle) with state-of-the-art accuracy. Then we show we can use this information to achieve a planar segmentation and 3D reconstruction of the

实验结果

研究问题

• RQ1 基于主曲率的平面感知损失函数是否能提升 $360^\circ$ 图像中深度与表面法线估计的性能？
• RQ2 将测地坐标图作为输入先验是否能增强全景图像表面法线预测的准确性？
• RQ3 单张 $360^\circ$ 图像在无立体或多视角数据的情况下，能在多大程度上支持高质量的3D平面重建？
• RQ4 将所提方法应用于全景图像时，与现有单目深度估计网络相比表现如何？
• RQ5 网络输出是否能有效结合，以从单张输入图像生成具有清晰边缘的平面3D '弹出'模型？

主要发现

• 所提出的平面感知损失函数显著提升了深度与表面法线估计的准确性，在 $360^\circ$ 室内深度估计基准测试中达到最先进性能。
• 将测地坐标图作为输入通道可显著提升表面法线预测性能，尤其在墙壁等大面积平面区域上减少了误差。
• 网络生成的平面边界图质量高，可实现鲁棒的、无需阈值设定的平面区域分割。
• 由网络输出生成的3D '弹出'模型展现出清晰、定义明确的平面边界，优于仅使用深度的基线方法所生成的平滑、噪声较多的重建结果。
• 在RANSAC平面拟合过程中整合表面法线信息，相比仅使用深度的拟合方法，能获得显著更准确、更稳定的3D重建结果。
• 本方法表明，当结合几何先验与曲率感知学习时，单张 $360^\circ$ 图像足以支持细节丰富、分段平面化的3D重建。

Figure 2 : Overview of our network architecture. The vectors next to each layer are $\left[\begin{smallmatrix}\text{input features}\\ \text{output features}\end{smallmatrix}\right]$ for each. Above each layer is the kernel size, ‘T’ indicates transposed convolution, ‘s#’ indicates stride, and ‘d#’ i