[论文解读] Pushing the Boundaries of Boundary Detection using Deep Learning

Iasonas Kokkinos|arXiv (Cornell University)|Nov 23, 2015

Advanced Neural Network Applications参考文献 35被引用 51

一句话总结

该论文提出了一种基于深度学习的边界检测系统，通过结合多分辨率架构、新型损失函数和外部训练数据，在伯克利分割数据集上实现了最先进性能，F-measure达到0.813，超越了人类表现。通过将归一化割（normalized cuts）整合到DenseCRF推理中，进一步提升了语义分割性能，在PASCAL VOC 2012数据集上平均准确率达到75.7%。

ABSTRACT

In this work we show that adapting Deep Convolutional Neural Network training to the task of boundary detection can result in substantial improvements over the current state-of-the-art in boundary detection. Our contributions consist firstly in combining a careful design of the loss for boundary detection training, a multi-resolution architecture and training with external data to improve the detection accuracy of the current state of the art. When measured on the standard Berkeley Segmentation Dataset, we improve theoptimal dataset scale F-measure from 0.780 to 0.808 - while human performance is at 0.803. We further improve performance to 0.813 by combining deep learning with grouping, integrating the Normalized Cuts technique within a deep network. We also examine the potential of our boundary detector in conjunction with the task of semantic segmentation and demonstrate clear improvements over state-of-the-art systems. Our detector is fully integrated in the popular Caffe framework and processes a 320x420 image in less than a second.

研究动机与目标

• 通过将深度学习适配到该任务，缩小机器与人类在边界检测性能之间的差距。
• 通过精心设计的损失函数、多分辨率架构和外部训练数据，提升边界检测的准确性。
• 将经典的分组技术（如归一化割）整合到深度神经网络中，以增强边界感知能力。
• 利用高精度边界检测器提升高层视觉任务（如语义分割和区域提议生成）的性能。

提出的方法

• 基于VGG网络，采用多分辨率深度监督网络（DSN）架构，通过权重共享和晚期得分融合，提升跨尺度的特征表示能力。
• 提出一种改进的损失函数，在训练过程中强调边界像素，提升对边缘细节的敏感性。
• 利用外部训练数据（如ImageNet和PASCAL VOC）进行网络预训练和微调，增强泛化能力和准确性。
• 在DenseCRF推理中引入归一化割的特征向量作为额外特征，提升空间一致性和边界感知的分割效果。
• 应用基于边界强度的成对势能的图割后处理方法，以优化分割结果。
• 在Caffe深度学习框架中部署完整系统，实现实时推理（每张320×420图像处理时间低于1秒）。

实验结果

研究问题

• RQ1 能否有效将深度学习适配到边界检测任务中，使其在标准基准测试上超越人类水平表现？
• RQ2 与单尺度方法相比，多分辨率特征学习和深度监督在边界检测准确性方面有何提升？
• RQ3 经典分组方法（如归一化割）在多大程度上能增强深度神经网络在边界检测中的预测性能？
• RQ4 高精度边界检测器能否被用于提升下游任务（如语义分割和区域提议生成）的性能？

主要发现

• 所提方法在伯克利分割数据集上实现了0.813的最优数据集尺度F-measure，超越人类表现（F=0.803）。
• 采用图像特定阈值（最优图像尺度）时，系统F-measure达到0.8308，表明其在多样化图像上的鲁棒性。
• 将归一化割特征向量整合到DenseCRF推理中，使PASCAL VOC 2012测试集上的语义分割平均准确率从74.8%提升至75.4%。
• 应用基于边界敏感成对项的图割后处理，准确率进一步提升至75.7%，验证了边界感知优化的价值。
• 系统可在1秒内处理一张320×420的图像，展示了在Caffe框架下的实时推理能力。
• 边界检测器显著提升了语义分割和区域提议生成任务的性能，验证了其作为中级视觉组件的实用性。