[论文解读] PlaneMatch: Patch Coplanarity Prediction for Robust RGB-D Reconstruction

Yifei Shi, Kai Xu+3 more|arXiv (Cornell University)|Mar 22, 2018

Industrial Vision Systems and Defect Detection被引用 11

一句话总结

本文提出 PlaneMatch，一种基于深度学习的图像块描述子，可在无需初始对齐的情况下预测 RGB-D 图像块之间的共面性。通过在 ScanNet 数据集中提取的 1000 万个共面与非共面图像块三元组上训练的卷积神经网络（CNN），该方法实现了 RGB-D 重建中的鲁棒长距离回环检测，在 TUM RGB-D 基准测试中显著优于基线方法，并在低重叠场景下结合关键点匹配可实现高精度重建。

ABSTRACT

We introduce a novel RGB-D patch descriptor designed for detecting coplanar surfaces in SLAM reconstruction. The core of our method is a deep convolutional neural net that takes in RGB, depth, and normal information of a planar patch in an image and outputs a descriptor that can be used to find coplanar patches from other images.We train the network on 10 million triplets of coplanar and non-coplanar patches, and evaluate on a new coplanarity benchmark created from commodity RGB-D scans. Experiments show that our learned descriptor outperforms alternatives extended for this new task by a significant margin. In addition, we demonstrate the benefits of coplanarity matching in a robust RGBD reconstruction formulation.We find that coplanarity constraints detected with our method are sufficient to get reconstruction results comparable to state-of-the-art frameworks on most scenes, but outperform other methods on standard benchmarks when combined with a simple keypoint method.

研究动机与目标

• 为解决在低重叠或特征稀少环境下鲁棒检测共面表面的挑战。
• 通过检测非重叠图像块之间的长距离共面性约束，实现全局、从头开始的重建。
• 开发一种判别性图像块描述子，利用自监督学习从 RGB、深度和法向量数据中预测共面性。
• 通过将共面性约束整合到鲁棒优化框架中，提升全局 RGB-D 标定精度。

提出的方法

• 训练一个深度卷积神经网络，将包含颜色、深度和法向量信息的平面型 RGB-D 图像块映射到描述子空间，使得 L2 距离可预测共面性。
• 在从 ScanNet 扫描中提取的 1000 万个共面与非共面图像块三元组上，以自监督方式训练网络。
• 聚合多尺度上下文特征，以提升对视角和光照变化的泛化能力与鲁棒性。
• 引入一个新的共面性基准用于训练与评估，基于带有真实共面性标签的真实世界 RGB-D 扫描。
• 将共面性约束整合到鲁棒优化框架中，扩展现有方法以引入平面对齐先验。
• 将学习到的共面性匹配与传统基于关键点的对应关系相结合，提升在复杂场景下的位姿估计性能。

实验结果

研究问题

• RQ1 深度神经网络能否在无需初始对齐的情况下，学习到一种可判别共面性的图像块描述子？
• RQ2 该学习到的描述子在大型室内场景中，对非重叠视图之间的长距离共面匹配检测效果如何？
• RQ3 仅使用共面性约束或与关键点结合，能否提升标准基准测试中全局 RGB-D 重建的精度？
• RQ4 与当前最先进的基于关键点和基于平面结构的重建框架相比，所提方法的性能如何？

主要发现

• PlaneMatch 在 TUM RGB-D 基准的前三个序列上实现了最先进的 ATE RMSE，优于仅使用关键点或仅使用平面结构的方法。
• 在低帧重叠的挑战性序列上，该方法将 ATE RMSE 最多降低 40%，证明了长距离共面性匹配的价值。
• 当与 BundleFusion 的关键点匹配结合时，PlaneMatch 在所有 TUM 序列上实现了最佳整体性能。
• 消融实验表明，学习到的描述子至关重要，缺少该描述子的变体性能显著下降。
• 可视化结果表明，PlaneMatch 能够成功检测非重叠的回环（如地板瓷砖、墙面板），在关键点方法失效的场景中实现重建。
• 长距离共面性配对对重建质量有显著贡献，尤其在较大场景中，直方图分析显示优化过程中检测到的配对具有很高的存活率。