[论文解读] UnsupervisedR&R: Unsupervised Point Cloud Registration via Differentiable Rendering

Mohamed El Banani, Luya Gao+1 more|arXiv (Cornell University)|Feb 23, 2021

3D Surveying and Cultural Heritage参考文献 75被引用 8

一句话总结

UnsupervisedR&R 提出了一种端到端的无监督方法，通过可微分渲染来强制实现光度一致性和几何一致性，用于RGB-D点云配准。通过在无需姿态标注的原始RGB-D视频上进行训练，该方法优于使用手工设计或学习到的描述符的传统方法，并达到监督几何配准方法的性能水平，表明通过视图合成实现的自监督能够实现鲁棒的、无需标注的训练。

ABSTRACT

Aligning partial views of a scene into a single whole is essential to understanding one's environment and is a key component of numerous robotics tasks such as SLAM and SfM. Recent approaches have proposed end-to-end systems that can outperform traditional methods by leveraging pose supervision. However, with the rising prevalence of cameras with depth sensors, we can expect a new stream of raw RGB-D data without the annotations needed for supervision. We propose UnsupervisedR&R: an end-to-end unsupervised approach to learning point cloud registration from raw RGB-D video. The key idea is to leverage differentiable alignment and rendering to enforce photometric and geometric consistency between frames. We evaluate our approach on indoor scene datasets and find that we outperform existing traditional approaches with classic and learned descriptors while being competitive with supervised geometric point cloud registration approaches.

研究动机与目标

• 解决在缺乏姿态标注的情况下点云配准的挑战，因为对于RGB-D数据而言，姿态标注成本高且难以获取。
• 利用RGB-D视频中的自然监督——连续帧从不同视角展示同一场景——在无真实姿态标签的情况下训练配准模型。
• 开发一种端到端的无监督学习框架，通过可微分渲染和一致性损失联合学习特征提取与几何对齐。
• 验证光度一致性和几何一致性损失能否替代姿态监督以实现有效的点云配准。

提出的方法

• 该方法使用特征编码器从RGB-D帧中提取带有3D坐标和特征向量的3D点云。
• 应用可微分渲染，利用预测的相机变换从一个帧合成另一个帧，从而实现通过渲染过程的梯度传播。
• 通过最小化输入图像与渲染图像之间的像素级差异来强制实现光度一致性。
• 通过最小化渲染点云与目标点云之间的Chamfer距离来强制实现几何一致性。
• 使用Lowe比率测试的可微分变体来过滤对应关系，提升对异常值的鲁棒性。
• 在推理过程中使用对应关系的随机子集，受RANSAC启发，以提升鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 在可微分渲染流程中，光度一致性和几何一致性损失能否替代姿态监督以实现点云配准？
• RQ2 在无监督配准框架中，Lowe比率测试的可微分版本在对应关系过滤中的有效性如何？
• RQ3 来自RGB-D视频的自监督在多大程度上能够实现与监督几何配准方法相当的性能？
• RQ4 诸如子集采样和特征学习等设计选择如何影响模型的鲁棒性和准确性？

主要发现

• UnsupervisedR&R 在ScanNet数据集上优于使用经典描述符（如SIFT、FCGF）和学习到的描述符（如DeepSDF）的传统配准流程。
• 尽管没有姿态监督，该方法的性能与最先进的监督几何配准方法相当。
• 消融实验表明，若移除可微分比率测试，性能下降最大，凸显其在对应关系过滤中的关键作用。
• 在推理过程中使用更多随机子集可提升性能，且在100个子集时性能趋于饱和，表明准确率与推理时间之间存在权衡。
• 仅在训练阶段应用随机子集模块（而非推理阶段）可提升性能，表明其具有类似Dropout的正则化效果。