[论文解读] Tiny and Efficient Model for the Edge Detection Generalization

Xavier Soria Poma, Yachuan Li+2 more|arXiv (Cornell University)|Aug 12, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 TEED，一种仅含 58K 参数的轻量级卷积神经网络，用于边缘检测，其在 BIPED 数据集上从零开始训练，采用一种新颖且高效的训练流程。尽管参数量极小，TEED 仍实现了最先进的一般化性能，生成清晰、高质量的边缘图，并在定量指标和下游基于草图的图像检索任务中优于更大的模型。

ABSTRACT

Most high-level computer vision tasks rely on low-level image operations as their initial processes. Operations such as edge detection, image enhancement, and super-resolution, provide the foundations for higher level image analysis. In this work we address the edge detection considering three main objectives: simplicity, efficiency, and generalization since current state-of-the-art (SOTA) edge detection models are increased in complexity for better accuracy. To achieve this, we present Tiny and Efficient Edge Detector (TEED), a light convolutional neural network with only $58K$ parameters, less than $0.2$% of the state-of-the-art models. Training on the BIPED dataset takes $less than 30 minutes$, with each epoch requiring $less than 5 minutes$. Our proposed model is easy to train and it quickly converges within very first few epochs, while the predicted edge-maps are crisp and of high quality. Additionally, we propose a new dataset to test the generalization of edge detection, which comprises samples from popular images used in edge detection and image segmentation. The source code is available in https://github.com/xavysp/TEED.

研究动机与目标

• 解决低层次计算机视觉任务中对轻量级、高效且可泛化边缘检测模型的需求。
• 克服当前最先进模型的局限性，这些模型计算成本高，且需要大量超参数调优或迁移学习。
• 构建一个新的基准数据集 UDED，以公平评估边缘检测在多样化真实图像中的泛化能力。
• 实现在极低计算成本下快速训练与收敛，同时保持高水平的边缘检测质量。
• 证明小型模型可通过在下游任务（如基于草图的图像检索）上的评估实现更优的泛化性能。

提出的方法

• 提出 TEED，一种仅含 58K 参数的紧凑 CNN 架构，专为最小化推理与训练成本而设计。
• 引入 dfuse 模块——一种轻量级、高效的特征融合机制，参数少于 1K，受 CoFusion 启发但显著更小。
• 设计一种自定义的 dloss 函数，以加速训练收敛并提升优化稳定性。
• 在 BIPED 数据集上从零开始训练 TEED，避免使用迁移学习，将每轮训练时间控制在 5 分钟以内，总训练时间不足 30 分钟。
• 通过从多个边缘检测与分割数据集中基于频率标准选取图像，构建统一边缘检测数据集（UDED），确保测试案例具有多样性与感知相关性。
• 通过标准指标与 QMUL 数据集上的下游基于草图的图像检索任务双重验证性能，以评估真实世界中的泛化能力。

Figure 1: Edges from our proposal (TEED) and the state-of-the-art models. EDTER [ 33 ] and PiDiNet [ 42 ] have been trained in BSDS500 [ 1 ] following the standard training procedure. TEED has been trained from the scratch with BIPED [ 41 ] with a reduced hyper-parameters tuning.

实验结果

研究问题

• RQ1 一个小型轻量级 CNN 是否能在不使用迁移学习或超参数调优的情况下，实现边缘检测的最先进泛化性能？
• RQ2 在如 BIPED 这类精选数据集上训练的模型，其在分布外、多样化的未见图像上的泛化能力如何？
• RQ3 一种新颖高效的损失函数与轻量级融合模块对训练速度与边缘检测质量有何影响？
• RQ4 在基于草图的图像检索等下游任务中，极简模型是否能超越更大的最先进模型？
• RQ5 所提出的 UDED 数据集在评估边缘检测器真实泛化能力方面的有效性如何？

主要发现

• 在 QMUL-ShoeV2 数据集上，TEED 的 top-1 准确率为 0.9565，top-1 准确率为 0.5565，优于参数量大得多的模型。
• 在 QMUL-ChairV2 数据集上，TEED 的 top-1 准确率为 0.8865，top-10 准确率为 1.0，达到或超过更大模型的性能。
• TEED 在少于 6 个周期内完成收敛，总训练时间不足 30 分钟，展现出快速收敛与极低训练成本。
• 即使在具有密集边缘的复杂场景中，TEED 生成的边缘图也比 PiDiNet 和 EDTER 等最先进模型更清晰锐利。
• TEED 对未见数据集具有良好的泛化能力，在仅在 BIPED 上训练的情况下，仍能在基于草图的图像检索任务中取得优异表现。
• UDED 数据集有效捕捉了感知上的边缘多样性，并实现了对泛化能力的公平评估，揭示了标准基准上的表现并不能保证下游任务的成功。

Figure 2: TEED architecture.