[论文解读] PlaneRCNN: 3D Plane Detection and Reconstruction from a Single Image

Chen Liu, Kihwan Kim+3 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Neural Network Applications参考文献 50被引用 6

一句话总结

PlaneRCNN 是一种新颖的深度学习框架，通过基于 Mask R-CNN 的检测网络从单张 RGB 图像中检测并重建分段平面。该框架预测平面参数、分割掩码和深度图，并通过分割细化网络和用于强制与邻近视图一致性的扭曲损失提升精度，在平均每张图像包含 14.7 个平面的新细粒度基准上，性能优于当前最先进方法。

ABSTRACT

This paper proposes a deep neural architecture, PlaneRCNN, that detects and reconstructs piecewise planar surfaces from a single RGB image. PlaneRCNN employs a variant of Mask R-CNN to detect planes with their plane parameters and segmentation masks. PlaneRCNN then jointly refines all the segmentation masks with a novel loss enforcing the consistency with a nearby view during training. The paper also presents a new benchmark with more fine-grained plane segmentations in the ground-truth, in which, PlaneRCNN outperforms existing state-of-the-art methods with significant margins in the plane detection, segmentation, and reconstruction metrics. PlaneRCNN makes an important step towards robust plane extraction, which would have an immediate impact on a wide range of applications including Robotics, Augmented Reality, and Virtual Reality.

研究动机与目标

• 解决先前方法在检测小平面区域以及在室内和室外场景等不同领域间泛化能力方面的局限性。
• 通过引入强几何先验和全局场景理解，克服从单张图像进行 3D 平面重建的病态性问题。
• 实现灵活的、任意数量平面的检测，无需输入固定的平面数量上限。
• 通过训练期间的联合优化和多视角一致性，提升分割和深度图的精度。
• 提供一个新且高质量的基准，包含细粒度、密集的平面标注，以更有效地评估并推动该领域的技术水平。

提出的方法

• 将 Mask R-CNN 作为检测网络，从单张 RGB 图像中预测实例掩码、平面法向量和每像素的深度值。
• 引入一个分割细化网络，采用 U-Net 架构，并利用其他掩码的特征聚合，以提升所有检测到的平面之间的掩码一致性。
• 设计一个扭曲损失模块，在端到端训练中强制预测的深度图与同一场景的第二视角之间保持几何一致性。
• 使用 ScanNet 数据集中的 3D 扫描生成真实标签平面标注，通过深度测试剔除和凸性/凹性推理，完整标注被遮挡的表面。
• 使用结合检测、细化和扭曲目标的多任务损失，端到端训练模型，以联合优化平面检测、分割和深度估计。
• 通过修改掩码预测头以预测每个平面的完整掩码，并基于 3D 平面几何的深度图融合规则，实现遮挡推理。

实验结果

研究问题

• RQ1 基于检测的深度学习框架是否能在从单张 RGB 图像中检测和重建分段平面结构方面超越现有的基于分割的方法？
• RQ2 联合分割细化相比独立掩码预测，在提升检测到的平面区域的连贯性和准确性方面有多大改善？
• RQ3 通过扭曲损失强制与邻近视图的一致性，在多大程度上提升了平面参数和深度图的几何精度？
• RQ4 在仅在室内扫描数据上进行训练的前提下，该模型是否能在未见过的场景类型（如室外场景）上有效泛化，而无需微调？
• RQ5 包含被遮挡表面重建的模块在多大程度上提升了视图合成和场景补全任务的质量？

主要发现

• PlaneRCNN 在新基准上实现了最先进性能，平均每张图像包含 14.7 个平面，显著高于先前基准中每张图像 6 个平面的水平。
• 在平面检测、分割和重建指标方面，PlaneRCNN 显著优于 PlaneNet 和 PlaneRecover，平面检测的 F1 分数最高提升达 0.405。
• 分割细化网络减少了相邻平面之间的间隙，提升了掩码的一致性并减少了碎片化。
• 扭曲损失模块通过利用多视角一致性，纠正了平面参数和深度图中的几何误差，尤其在模糊或无纹理区域效果显著。
• 经过遮挡推理改进的 PlaneRCNN 能够成功推断出家具后方的地板等不可见表面，实现无伪影的视图合成和分层深度图建模。
• PlaneRCNN 在未见过的数据集（如 NYUv2、KITTI、SYNTHIA、Tank and Temple）上无需微调即可实现良好泛化，展现出强大的零样本泛化能力。