[论文解读] Pixel Difference Networks for Efficient Edge Detection

Zhuo Su, Wenzhe Liu+6 more|arXiv (Cornell University)|Aug 16, 2021

Advanced Neural Network Applications参考文献 64被引用 14

一句话总结

本文提出像素差异网络（PiDiNet），一种轻量化、高效的边缘检测架构，通过一种新型的像素差异卷积（PDC）将传统边缘算子（如Sobel、Canny）整合到卷积层中。PiDiNet在仅使用710K参数和100 FPS的条件下，从零开始训练，无需ImageNet预训练，在BSDS500数据集上实现了人类水平的性能（0.807 ODS F-measure），在效率和准确率方面均优于先前方法。

ABSTRACT

Recently, deep Convolutional Neural Networks (CNNs) can achieve human-level performance in edge detection with the rich and abstract edge representation capacities. However, the high performance of CNN based edge detection is achieved with a large pretrained CNN backbone, which is memory and energy consuming. In addition, it is surprising that the previous wisdom from the traditional edge detectors, such as Canny, Sobel, and LBP are rarely investigated in the rapid-developing deep learning era. To address these issues, we propose a simple, lightweight yet effective architecture named Pixel Difference Network (PiDiNet) for efficient edge detection. Extensive experiments on BSDS500, NYUD, and Multicue are provided to demonstrate its effectiveness, and its high training and inference efficiency. Surprisingly, when training from scratch with only the BSDS500 and VOC datasets, PiDiNet can surpass the recorded result of human perception (0.807 vs. 0.803 in ODS F-measure) on the BSDS500 dataset with 100 FPS and less than 1M parameters. A faster version of PiDiNet with less than 0.1M parameters can still achieve comparable performance among state of the arts with 200 FPS. Results on the NYUD and Multicue datasets show similar observations. The codes are available at https://github.com/zhuoinoulu/pidinet.

研究动机与目标

• 解决当前最先进边缘检测模型中大型CNN主干网络带来的高计算与内存开销问题。
• 将经典边缘检测算子（如Sobel、Canny）整合到深度学习框架中，以增强梯度感知的特征学习能力。
• 在极小模型尺寸和低推理延迟下实现高性能边缘检测，同时消除对大规模预训练的依赖。
• 证明仅使用有限数据集（如BSDS500和VOC）从零开始训练的模型也能达到人类水平的准确率。

提出的方法

• 提出一种新型卷积操作——像素差异卷积（PDC），在应用标准卷积权重前，先对输入特征图中的像素对计算差异。
• PDC显式编码来自局部图像块的梯度信息，使网络能更好地检测边缘，而无需完全依赖随机初始化的卷积核。
• 基于PDC模块设计轻量化网络架构PiDiNet，显著减少参数量并提升推理速度。
• 使用BSDS500和VOC数据集端到端从零开始训练PiDiNet，避免使用ImageNet预训练。
• 采用多尺度监督和跳跃连接以保留细粒度边缘细节，类似于HED和RCF的方法。
• 通过最小化乘加操作数（MACs）和模型大小，在保持竞争力准确率的同时优化推理效率。

实验结果

研究问题

• RQ1 将经典边缘检测算子整合到CNN中是否能在不增加模型复杂度的前提下提升边缘检测性能？
• RQ2 仅从零开始训练的轻量化CNN能否在边缘检测基准上达到人类水平的性能？
• RQ3 与标准卷积相比，所提出的PDC层是否能增强梯度敏感性和边缘定位能力？
• RQ4 与依赖大型预训练主干网络的最先进模型相比，PiDiNet在准确率和效率方面表现如何？

主要发现

• PiDiNet在BSDS500数据集上达到0.807的ODS F-measure，超过人类感知基准（0.803），仅使用710K参数和100 FPS。
• 参数量小于0.1M的PiDiNet小型版本达到215 FPS，ODS F-measure为0.787，性能与最先进模型相当。
• 在NYUD数据集上，PiDiNet在RGB-HHA设置下达到0.756的ODS F-measure（62 FPS），在速度和准确率上均优于HED和BDCN。
• 在Multicue数据集上，PiDiNet在边界检测上达到0.855的ODS F-measure，在边缘检测上达到0.860，准确率与或超过SOTA模型。
• PiDiNet-L（较大变体）在NYUD上达到88 FPS，在Multicue上达到23 FPS，展现出跨数据集的高推理效率。
• 消融实验表明，PDC通过增强梯度敏感性显著提升了边缘检测质量，定性比较显示其优于RCF、CED和BDCN。