[论文解读] Probabilistic RGB-D Odometry based on Points, Lines and Planes Under Depth Uncertainty

Pedro F. Proença, Yang Gao|View|Jun 13, 2017

Robotics and Sensor-Based Localization参考文献 32被引用 7

一句话总结

本文提出了一种基于混合高斯模型（MoG）深度融合框架的基于概率的RGB-D视觉里程计系统，通过融合点、线和面来建模深度不确定性。通过将这种不确定性传播至原始几何体的概率3D拟合中，该方法在低纹理、动态和深度遮挡环境中实现了鲁棒的位姿估计，在公开数据集和自定义数据集上的表现优于仅使用点或点-线组合的方法。

ABSTRACT

This work proposes a robust visual odometry method for structured environments that combines point features with line and plane segments, extracted through an RGB-D camera. Noisy depth maps are processed by a probabilistic depth fusion framework based on Mixtures of Gaussians to denoise and derive the depth uncertainty, which is then propagated throughout the visual odometry pipeline. Probabilistic 3D plane and line fitting solutions are used to model the uncertainties of the feature parameters and pose is estimated by combining the three types of primitives based on their uncertainties. Performance evaluation on RGB-D sequences collected in this work and two public RGB-D datasets: TUM and ICL-NUIM show the benefit of using the proposed depth fusion framework and combining the three feature-types, particularly in scenes with low-textured surfaces, dynamic objects and missing depth measurements.

研究动机与目标

• 提升在低纹理表面、动态物体和缺失深度测量的结构化环境中视觉里程计的鲁棒性。
• 通过建模深度不确定性，解决深度传感器的局限性，如噪声、测距范围和视场角限制，以及深度不连续性问题。
• 通过结合带不确定性的点、线和面特征进行感知，提升位姿估计的准确性。
• 开发一种深度融合框架，通过概率不确定性传播对原始深度图进行去噪，并恢复时间上缺失的测量值。
• 在自定义和公开的RGB-D数据集上评估系统性能，证明其优于仅使用点或仅使用点-线的基线方法。

提出的方法

• 基于混合高斯模型（MoG）的深度融合框架，通过建模深度测量值在空间和时间上的分布，对原始深度图进行去噪并估计深度不确定性。
• 系统采用加权线性最小二乘法进行概率3D线和面拟合，以建模特征参数的不确定性，权重由深度不确定性推导得出。
• 位姿估计通过加权最小二乘法融合所有三种原始几何体（点、线、面），并考虑每种特征3D参数的不确定性。
• 深度融合框架以滑动窗口方式随时间运行，通过重用历史测量值，将深度估计扩展至深度相机视场角之外的区域。
• 广角RGB镜头扩展了视觉视场角，而深度融合框架使深度数据能够传播至深度传感器原始范围之外的区域。
• 该方法与视觉里程计流水线集成，包括2D特征检测（SURF）、3D特征匹配，以及通过RANSAC和迭代优化进行位姿精化。

实验结果

研究问题

• RQ1 将点、线和面与不确定性建模相结合，如何提升在低纹理和动态环境中的视觉里程计性能？
• RQ2 基于混合高斯模型的深度融合框架在多大程度上能减少RGB-D序列中的噪声并恢复缺失的深度测量值？
• RQ3 在存在传感器噪声和深度不连续性的情况下，建模深度不确定性如何提升3D线和面拟合的鲁棒性？
• RQ4 时间上的深度融合对在存在缺失或噪声深度数据的序列中位姿估计精度和跟踪稳定性有何影响？
• RQ5 在存在遮挡和运动模糊的复杂现实场景中，所提系统能否优于仅使用点或仅使用点-线的视觉里程计？

主要发现

• 融合点、线和面的完整系统在所有测试序列中均实现了最低的相对位姿误差（RPE），优于仅使用点或仅使用点-线的变体。
• 在ICL-NUIM数据集上，完整系统相比仅使用点的里程计将RPE降低了30%，在低纹理区域表现出更优的跟踪稳定性。
• 深度融合框架有效降低了深度图噪声，并实现了对深度相机视场角之外区域的深度测量恢复，在时间融合中将可用深度数据延长至最多10帧。
• 在停车场车库序列中，完整系统在仅使用点的里程计失效时仍能维持跟踪，表明其在低纹理和动态场景中具有更强的鲁棒性。
• 该方法在所有数据集上均表现出一致的性能提升，尤其在存在显著深度中断和无纹理表面的序列中提升最为明显。
• 单核CPU上每帧平均处理时间为35ms，其中深度融合和平面提取为计算最密集的模块。