[论文解读] Unsupervised Object Discovery and Segmentation of RGBD-images

Johan Ekekrantz, Nils Bore+3 more|arXiv (Cornell University)|Oct 18, 2017

Industrial Vision Systems and Defect Detection参考文献 23被引用 7

一句话总结

该论文提出了一种无监督的RGBD物体发现与分割系统，通过使用统计内点估计（SIE）算法进行遮挡建模，实现基于概率的变动检测，从而自动学习传感器噪声并检测动态区域。该方法通过过滤运动片段并应用图割优化实现一致的物体分割，无需人工调参，在真实世界数据集上达到了最先进性能。

ABSTRACT

In this paper we introduce a system for unsupervised object discovery and segmentation of RGBD-images. The system models the sensor noise directly from data, allowing accurate segmentation without sensor specific hand tuning of measurement noise models making use of the recently introduced Statistical Inlier Estimation (SIE) method. Through a fully probabilistic formulation, the system is able to apply probabilistic inference, enabling reliable segmentation in previously challenging scenarios. In addition, we introduce new methods for filtering out false positives, significantly improving the signal to noise ratio. We show that the system significantly outperform state-of-the-art in on a challenging real-world dataset.

研究动机与目标

• 解决在无先验标注或特定物体训练的情况下，从RGBD图像中发现并分割新物体的挑战。
• 通过在动态室内环境中实现无监督发现，克服监督方法的局限性。
• 通过使用SIE直接从数据中学习测量不确定性，减少对人工调参的传感器噪声模型的依赖。
• 通过过滤掉由人或动态物体等运动或瞬态元素引起的误报，提高复杂场景中的分割可靠性。
• 通过在多帧中对可能的表面配置进行边缘化，实现端到端的概率推理，提升物体发现的鲁棒性。

提出的方法

• 使用统计内点估计（SIE）建模传感器噪声，并基于颜色和深度残差计算相邻像素属于不同表面的概率。
• 将颜色残差 $ R_{\text{C}}(a,b) $ 定义为相邻像素间RGB值的三维绝对差值，然后使用SIE计算 $ P(a \neq b | a_{\text{C}} \neq b_{\text{C}}) $ 以估计边缘可能性。
• 将深度残差 $ R_{\text{Z}}(a,b) $ 计算为绝对范围差值与二阶斜率预测误差的最小值，并按预测的噪声方差进行缩放。
• 通过 $ P(a=b|I) = P(a=b|R_{\text{Z}})P(a=b|R_{\text{C}}) $ 组合颜色和深度的边缘概率，以估计表面连续性。
• 应用懒惰优化与图割能量最小化，在多帧上实现可处理的推理，并分割出一致的变动区域。
• 将动态区域分类为‘移动’（当前正在变化）和‘已移动’（先前已变化但现已静止），通过过滤‘移动’片段减少误报。

实验结果

研究问题

• RQ1 完全概率化公式能否在不依赖人工调参的传感器噪声模型的情况下，实现RGBD图像中鲁棒的物体发现与分割？
• RQ2 SIE在多大程度上可被适配用于RGBD数据的概率边缘检测与变动检测，以支持无监督分割？
• RQ3 在存在人类与环境运动的真实室内场景中，过滤掉‘移动’片段在多大程度上能提升分割精度？
• RQ4 在多帧中对可能的表面配置进行边缘化，能否提升推理稳定性与分割质量？
• RQ5 所提出的系统在具有挑战性的现实世界RGBD数据集上，与最先进方法相比，其定量表现如何？

主要发现

• 该系统在具有挑战性的现实世界RGBD数据集上显著优于最先进方法，表现出更优的分割精度与鲁棒性。
• 使用SIE进行现场传感器噪声建模，消除了对特定传感器参数调优的需求，提升了在不同成像条件下的泛化能力。
• 通过过滤‘移动’片段（主要由人、宠物或动态物体引起），减少了误报，提高了物体检测中的信噪比。
• 概率化公式即使在存在重叠物体与传感器噪声的复杂场景中，也能实现可靠的推理，这一点通过边缘检测与分割结果得到验证。
• 该方法成功分割了小型、此前未见过的物体，如水杯、电脑鼠标和钥匙，表明其对新物体类别的强大泛化能力。
• 通过SIE基于残差建模整合颜色与深度边缘概率，相比传统边缘检测方法，能更准确地检测表面边界。