[论文解读] Object Contour Detection with a Fully Convolutional Encoder-Decoder Network

Shuicheng Yan, Brian Price+3 more|arXiv (Cornell University)|Mar 15, 2016

Medical Image Segmentation Techniques参考文献 7被引用 44

一句话总结

本文提出一种全卷积编码器-解码器网络（CEDN），用于高精度目标轮廓检测，基于改进的PASCAL VOC标注数据，通过基于密集CRF的多边形优化方法进行端到端训练。该方法结合多尺度组合分组（MCG）技术，在每张图像仅使用约1,660个目标提议的情况下，于PASCAL VOC 2012数据集上实现了0.67的平均召回率，达到当前最优性能，显著优于先前方法，且候选数更少。

ABSTRACT

We develop a deep learning algorithm for contour detection with a fully convolutional encoder-decoder network. Different from previous low-level edge detection, our algorithm focuses on detecting higher-level object contours. Our network is trained end-to-end on PASCAL VOC with refined ground truth from inaccurate polygon annotations, yielding much higher precision in object contour detection than previous methods. We find that the learned model generalizes well to unseen object classes from the same super-categories on MS COCO and can match state-of-the-art edge detection on BSDS500 with fine-tuning. By combining with the multiscale combinatorial grouping algorithm, our method can generate high-quality segmented object proposals, which significantly advance the state-of-the-art on PASCAL VOC (improving average recall from 0.62 to 0.67) with a relatively small amount of candidates ($\sim$1660 per image).

研究动机与目标

• 通过改进不准确的多边形标注，解决目标轮廓检测缺乏高质量、大规模训练数据的问题。
• 开发一种深度学习模型，检测更高层级的目标轮廓而非低层级边缘，从而在精度上超越传统边缘检测器。
• 通过轮廓检测与多尺度组合分组（MCG）相结合，生成高质量的分割目标提议。
• 评估模型在相同超类别下未见目标类别（特别是MS COCO数据集）上的泛化能力。
• 实现微调极少的迁移学习，用于自然图像边缘检测。

提出的方法

• 设计一种全卷积编码器-解码器网络（CEDN），以VGG-16作为编码器（冻结），解码器包含反池化与卷积层，用于上采样特征图。
• 编码器-解码器结构支持在任意图像尺寸上进行密集、全分辨率预测，利用最大池化层的开关信息实现跳跃连接，提升定位精度。
• 通过基于密集CRF的方法对真实标注轮廓进行优化，提升训练数据质量。
• 在PASCAL VOC上使用优化后的标注数据对网络进行端到端训练，专注于目标轮廓检测，同时抑制背景边缘。
• 通过在预测轮廓图上应用MCG算法生成目标提议，生成具有高召回率的分割提议。
• 在BSDS500上对模型进行微调，以匹配当前最优边缘检测性能，并在MS COCO上评估，无需重新训练。

实验结果

研究问题

• RQ1 当在改进的大规模标注数据上进行训练时，全卷积编码器-解码器网络是否能实现高精度的目标轮廓检测？
• RQ2 该模型在相同超类别下的未见目标类别（如动物或车辆）上泛化能力如何？
• RQ3 预测轮廓是否能有效用于生成高质量的分割目标提议，且候选数少于先前方法？
• RQ4 尽管模型在目标轮廓上进行训练，微调后是否能在自然图像边缘检测任务上达到竞争性性能？
• RQ5 在MS COCO上，该模型表现如何，特别是在PASCAL VOC训练集中未出现的新类别（如'food'和'appliances'）上？

主要发现

• CEDN模型在PASCAL VOC 2012验证集上实现了0.67的平均召回率，每张图像仅使用约1,660个目标提议，优于先前最优的0.62。
• 在将提议数减少三倍（从约5,140降至约1,660）的同时，平均召回率提升了8%。
• 模型在相同超类别下的未见目标类别上泛化良好，例如在仅用'dog'和'cat'训练后，能有效检测'bear'。
• 在MS COCO上，CEDNMCG方法在提议数更少的情况下实现了具有竞争力的平均召回率（AR），尽管在'food'和'appliances'等新类别上性能下降，原因在于PASCAL VOC中存在背景标注。
• 微调后，模型在BSDS500上的边缘检测性能与当前最优方法相当，证明了其可迁移性。
• CEDNSCG变体在每张图像处理时间少于3秒内达到与CEDNMCG相近的精度，显示出SCG带来的效率提升。