[论文解读] Unmixing Convolutional Features for Crisp Edge Detection

Linxi Huan, Nan Xue+4 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Neural Network Applications参考文献 34被引用 4

一句话总结

本文提出了一种上下文感知追踪策略（CATS），通过追踪损失和上下文感知融合模块，对卷积特征进行解混，以提升深度边缘检测中的定位精度。CATS减少了深层网络中的特征与边缘图混合问题，在使用VGG16主干网络时，将RCF在BSDS500数据集上的F-measure（ODS）提升12%，且无需形态学NMS。

ABSTRACT

This paper presents a context-aware tracing strategy (CATS) for crisp edge detection with deep edge detectors, based on an observation that the localization ambiguity of deep edge detectors is mainly caused by the mixing phenomenon of convolutional neural networks: feature mixing in edge classification and side mixing during fusing side predictions. The CATS consists of two modules: a novel tracing loss that performs feature unmixing by tracing boundaries for better side edge learning, and a context-aware fusion block that tackles the side mixing by aggregating the complementary merits of learned side edges. Experiments demonstrate that the proposed CATS can be integrated into modern deep edge detectors to improve localization accuracy. With the vanilla VGG16 backbone, in terms of BSDS500 dataset, our CATS improves the F-measure (ODS) of the RCF and BDCN deep edge detectors by 12% and 6% respectively when evaluating without using the morphological non-maximal suppression scheme for edge detection.

研究动机与目标

• 解决卷积神经网络中因特征与边缘图混合导致的边缘检测定位模糊问题。
• 在不依赖后处理形态学非极大值抑制（NMS）的前提下，提升边缘图的清晰度。
• 在不修改网络结构的前提下，仅使用标准VGG16主干网络实现高性能边缘检测。
• 对卷积特征与边缘预测进行解混，以实现更优的边缘定位与纹理抑制。
• 开发一种即插即用模块，无需从头训练即可增强现有深度边缘检测器。

提出的方法

• 提出一种新型追踪损失，通过边界追踪实现特征解混，提升边缘图学习效果。
• 提出CoFusion模块，通过学习互补注意力权重，自适应融合多层级边缘图。
• 利用边界追踪函数优化边缘图预测，减少高层特征中的空间混合。
• 采用纹理抑制函数，增强边缘响应，降低纹理区域的误检率。
• 将追踪损失与CoFusion模块结合，联合解决特征混合与边缘图混合问题。
• 采用标准初始化方式端到端训练模型，将CATS集成至RCF、HED和BDCN等现有检测器中。

实验结果

研究问题

• RQ1 深度边缘检测器是否能在无需形态学NMS的情况下实现更清晰的边缘定位？
• RQ2 卷积神经网络中的特征混合在多大程度上会降低边缘检测性能？
• RQ3 如何改进边缘图融合策略以保留细粒度边缘细节？
• RQ4 轻量化、即插即用的模块是否能增强基于标准VGG16的边缘检测器？
• RQ5 通过边界追踪与上下文感知融合实现特征解混，是否能带来一致的性能提升？

主要发现

• 在BSDS500数据集上，当不使用形态学NMS时，CATS使RCF的F-measure（ODS）提升12%，BDCN提升6%。
• 完整版CATS在BSDS500上的ODS为0.731，OIS为0.744，分别较RCF提升1.1%和0.8%。
• 在强调清晰度的评估中，CATS在ODS上较RCF提升7%，OIS上提升7.1%，证明其具有更优的定位精度。
• 仅使用追踪损失时，ODS提升0.9%，OIS提升0.8%；而仅使用CoFusion模块时，清晰度提升微弱。
• CoFusion模块学习到在边界区域为低层边缘图分配更高权重，在平滑区域则为高层输出分配更高权重，证实了有效的边缘图解混。
• 消融实验表明，结合追踪损失与CoFusion模块可获得最佳性能，证明二者在特征与边缘图解混中具有互补作用。