[论文解读] Occlusion Edge Detection in RGB-D Frames using Deep Convolutional Networks

Soumik Sarkar, Vivek Venugopalan+4 more|arXiv (Cornell University)|Dec 22, 2014

Industrial Vision Systems and Defect Detection参考文献 25被引用 9

一句话总结

本论文提出一种用于RGB-D视频帧中遮挡边缘检测的深度卷积神经网络（CNN），将该任务建模为图像块中心像素的分类问题。该方法在使用RGB-D和RGB输入时均表现出稳健性能，表明深度数据可提升检测精度，且在无深度数据时误报率仍保持较低水平，适用于具有可调分辨率与速度权衡的实时机器人应用。

ABSTRACT

Occlusion edges in images which correspond to range discontinuity in the scene from the point of view of the observer are an important prerequisite for many vision and mobile robot tasks. Although they can be extracted from range data however extracting them from images and videos would be extremely beneficial. We trained a deep convolutional neural network (CNN) to identify occlusion edges in images and videos with both RGB-D and RGB inputs. The use of CNN avoids hand-crafting of features for automatically isolating occlusion edges and distinguishing them from appearance edges. Other than quantitative occlusion edge detection results, qualitative results are provided to demonstrate the trade-off between high resolution analysis and frame-level computation time which is critical for real-time robotics applications.

研究动机与目标

• 开发一种基于深度学习的方法，用于检测RGB-D视频帧中的遮挡边缘，这些边缘对导航、抓取和SLAM等机器人任务至关重要。
• 评估使用RGB-D和RGB输入时CNN的性能，分析深度数据对检测精度的影响。
• 分析在移动机器人实时部署中，高分辨率边缘检测与帧级计算时间之间的权衡。
• 通过CNN的层次特征学习，消除对手工设计特征的依赖，以准确区分遮挡边缘与外观边缘。
• 提供一个可扩展的、基于公开RGB-D基准数据集的硬件加速框架，用于评估。

提出的方法

• 将遮挡边缘检测任务建模为21×21图像块中心像素的二分类问题，输入来自RGB-D或RGB通道。
• 使用从RGB-D帧中提取的57,518个训练块，通过端到端监督学习训练深层CNN架构。
• 网络采用ReLU激活函数，并在NVIDIA K-40 GPU上进行优化，训练与测试在TUM RGB-D数据集集合中的基准数据集上完成。
• 通过滑动窗口方法（可变步长为4和8）融合块级预测，生成完整帧的遮挡边缘图。
• 后处理包括置信度热图生成与空间聚合，以提升边缘连续性并减少噪声。
• 使用标准指标（总体误差、误报率、漏检率）在1,271,002个测试块上评估模型性能。

实验结果

研究问题

• RQ1 深度CNN能否在无需手工设计特征的情况下，有效检测RGB-D视频帧中的遮挡边缘？
• RQ2 当仅使用RGB输入而移除深度信息时，CNN的性能如何退化？
• RQ3 在实时机器人应用中，检测分辨率（通过步长调节）与计算效率之间的权衡如何？
• RQ4 CNN能否以高精度区分遮挡边缘与外观边缘（如由纹理或光照引起）？
• RQ5 引入深度数据如何影响遮挡边缘检测中的误报率与漏检率？

主要发现

• 在RGB-D输入下，CNN的总体误差率为15.7%，显著优于仅使用RGB输入时的15.74%总体误差率。
• 误报率极低——RGB-D为15.38%，RGB为15.42%，表明对虚假边缘检测具有强鲁棒性。
• 漏检率较高，RGB-D为43.59%，RGB为45.71%，表明模型在复杂场景中难以检测出真实的遮挡边缘。
• 移除深度数据后，误报率的性能退化极小，表明仅靠RGB特征即可支持可靠的边缘分类。
• 较低步长（4）生成的边缘图分辨率更高，且误检更少，但计算时间更长；而步长8则在速度上更具优势。
• 训练过程未达到饱和，表现为训练误差随训练轮次持续下降，这归因于ReLU激活函数的使用。