[论文解读] Unsupervised Learning of Edges

Yin Li, Manohar Paluri+2 more|arXiv (Cornell University)|Nov 13, 2015

Advanced Neural Network Applications参考文献 36被引用 7

一句话总结

本文提出了一种无监督方法，仅使用视频帧之间的半密集光流匹配来训练边缘检测器，无需人工标注的边缘。通过在运动估计和边缘检测之间迭代反馈优化，该方法在边缘检测性能上仅比完全监督方法低3–5%，证明了仅靠运动线索即可有效预训练深度边缘检测器，并在下游目标检测任务中取得显著提升。

ABSTRACT

Data-driven approaches for edge detection have proven effective and achieve top results on modern benchmarks. However, all current data-driven edge detectors require manual supervision for training in the form of hand-labeled region segments or object boundaries. Specifically, human annotators mark semantically meaningful edges which are subsequently used for training. Is this form of strong, high-level supervision actually necessary to learn to accurately detect edges? In this work we present a simple yet effective approach for training edge detectors without human supervision. To this end we utilize motion, and more specifically, the only input to our method is noisy semi-dense matches between frames. We begin with only a rudimentary knowledge of edges (in the form of image gradients), and alternate between improving motion estimation and edge detection in turn. Using a large corpus of video data, we show that edge detectors trained using our unsupervised scheme approach the performance of the same methods trained with full supervision (within 3-5%). Finally, we show that when using a deep network for the edge detector, our approach provides a novel pre-training scheme for object detection.

研究动机与目标

• 探究高性能边缘检测是否必须依赖强监督信号。
• 开发一种利用视频中运动线索训练边缘检测器而不依赖人工标注边界的方法。
• 评估使用视频数据进行无监督预训练是否能提升下游任务（如目标检测）的性能。
• 确定运动边缘是否可作为边缘检测的可扩展自监督信号。

提出的方法

• 该方法仅使用视频帧之间的半密集匹配作为输入，无需任何人工标注的边缘。
• 通过交替优化当前边缘预测结果以改进光流估计，并利用运动边缘作为正样本重新训练边缘检测器。
• 运动边缘——即光流不连续的位置——被用作正样本，而非边缘区域的随机采样则提供负样本。
• 该过程利用大规模视频数据集，迭代改进边缘检测与光流估计。
• 使用深度神经网络（Holistic Edge）或结构化随机森林（Structured Edge）模型，基于运动衍生的监督信号进行训练。
• 该方法利用边缘的稀疏性，最小化负样本中的假阴性，从而提升训练稳定性。

实验结果

研究问题

• RQ1 是否仅通过视频中的运动线索即可有效训练边缘检测器，而无需人工标注的边界？
• RQ2 在运动边缘上进行无监督训练的边缘检测器，其性能与完全监督基线相比如何？
• RQ3 使用视频数据进行无监督预训练是否能提升下游目标检测任务的性能？
• RQ4 与ImageNet预训练相比，该无监督方法在多大程度上捕捉了高层级的物体级信息？

主要发现

• 在标准边缘检测基准上，基于视频数据训练的无监督边缘检测器性能仅比完全监督基线低3–5%。
• 在PASCAL VOC 2007上对目标检测进行微调时，使用无监督预训练的Holistic Edge网络在ZF-Net上达到58.6 mAP，优于从零开始训练的基线（38.2 mAP）。
• 与随机初始化相比，使用视频数据进行预训练使目标检测mAP提升了约3个百分点，但仍落后于ImageNet预训练（66.9 mAP）。
• 该方法表明，即使没有显式的人工标注，运动边缘也可作为边缘检测的可行自监督信号。
• 光流估计与边缘检测之间的迭代反馈机制在多次训练迭代中持续提升了两个任务的性能。
• 尽管在处理弱边缘和噪声匹配方面存在局限，该方法仍表明大规模视频数据可实现强大的无监督预训练，用于边缘检测。