[论文解读] Noise in Structured-Light Stereo Depth Cameras: Modeling and its Applications

Avishek Chatterjee, Venu Madhav Govindu|arXiv (Cornell University)|May 8, 2015

Optical measurement and interference techniques参考文献 11被引用 11

一句话总结

本文提出了一种针对结构光立体深度相机的理论基础噪声模型，表明深度噪声方差随距离呈二次增长。该模型通过实验得到验证，并被应用于改进深度去噪、体积扫描融合与三维平面提取，显著提升了这三项应用的准确性，通过考虑距离相关的不确定性。

ABSTRACT

Depth maps obtained from commercially available structured-light stereo based depth cameras, such as the Kinect, are easy to use but are affected by significant amounts of noise. This paper is devoted to a study of the intrinsic noise characteristics of such depth maps, i.e. the standard deviation of noise in estimated depth varies quadratically with the distance of the object from the depth camera. We validate this theoretical model against empirical observations and demonstrate the utility of this noise model in three popular applications: depth map denoising, volumetric scan merging for 3D modeling, and identification of 3D planes in depth maps.

研究动机与目标

• 理解并建模结构光立体深度相机（如 Kinect）的固有噪声特性。
• 为观测到的深度噪声标准差与物体距离之间的二次关系提供理论解释。
• 通过广泛的实验验证理论噪声模型。
• 展示噪声模型在改进深度图去噪、体积扫描融合与三维平面提取方面的实际应用价值。
• 表明引入距离相关不确定性可提升三维重建与分析的鲁棒性与准确性。

提出的方法

• 基于结构光深度相机中使用的立体三角测量原理，推导噪声模型，表明深度噪声标准差随距离呈二次增长。
• 利用 Kinect 相机在不同物体距离下的真实深度数据，对理论模型进行实验验证。
• 在深度图去噪框架中应用该噪声模型，根据距离相关的不确定性对像素贡献进行加权。
• 在体积扫描融合中使用该噪声模型，为融合过程中的深度测量分配适当的置信权重，提升对齐精度。
• 开发一种基于差异图的平面提取算法，利用噪声模型定义平面拟合的 probabilistic 阈值，提升对噪声的鲁棒性。
• 将噪声模型集成到基于平面匹配的运动估计中，实现 SLAM 系统中更快、更可靠的初始位姿估计。

实验结果

研究问题

• RQ1 为何结构光立体相机中深度噪声标准差随距离呈二次增长？
• RQ2 是否可通过理论推导得到的噪声模型准确描述如 Kinect 等设备实际深度图中的噪声特性？
• RQ3 在深度图去噪中，引入距离相关噪声模型如何提升性能？
• RQ4 该噪声模型在三维重建中对体积扫描融合的准确性提升程度如何？
• RQ5 该噪声模型能否提升从噪声深度图中提取三维平面的鲁棒性与准确性？

主要发现

• 理论分析证实，深度噪声标准差随距离呈二次增长，这本质上源于结构光相机的立体三角测量几何结构。
• 实验结果验证了理论模型，表明在多个物体距离下，预测噪声水平与实际观测结果高度一致。
• 在深度图去噪中，所提方法在降低噪声的同时，比传统双边滤波更有效地保持边缘特征，尤其在远距离区域表现更优。
• 在体积扫描融合中，该噪声感知融合方法相比标准方法显著降低了对齐误差，尤其在深度不确定性较高的区域表现更佳。
• 在平面提取中，该噪声模型使点能被正确分类为不同平面，即使在不同阈值下也表现稳定，优于在极端条件下失效的固定阈值方法。
• 在运动估计中，基于平面的方法结合该噪声模型，使帧间旋转误差从初始的 22.7° 降低至仅 2.36°，证明其作为 ICP 初始估计的显著价值。