[论文解读] Three Birds One Stone: A General Architecture for Salient Object Segmentation, Edge Detection and Skeleton Extraction

Qibin Hou, Jiangjiang Liu+3 more|arXiv (Cornell University)|Mar 27, 2018

Visual Attention and Saliency Detection参考文献 81被引用 11

一句话总结

本文提出 GearNet，一种通用的深度学习架构，通过密集连接编码器的水平级联，统一了显著目标分割、边缘检测和骨架提取任务。通过从CNN主干网络逐步融合多层级特征，该模型在所有三项任务中均达到最先进性能，在基准数据集上的F-measure最高提升达3.4%。

ABSTRACT

In this paper, we aim at solving pixel-wise binary problems, including salient object segmentation, skeleton extraction, and edge detection, by introducing a unified architecture. Previous works have proposed tailored methods for solving each of the three tasks independently. Here, we show that these tasks share some similarities that can be exploited for developing a unified framework. In particular, we introduce a horizontal cascade, each component of which is densely connected to the outputs of previous component. Stringing these components together allows us to effectively exploit features across different levels hierarchically to effectively address the multiple pixel-wise binary regression tasks. To assess the performance of our proposed network on these tasks, we carry out exhaustive evaluations on multiple representative datasets. Although these tasks are inherently very different, we show that our unified approach performs very well on all of them and works far better than current single-purpose state-of-the-art methods. All the code in this paper will be publicly available.

研究动机与目标

• 为解决仅针对单一像素级二值化任务进行优化的单用途CNN架构的局限性。
• 识别显著目标分割、边缘检测和骨架提取之间在结构和特征层面的共性。
• 设计一种通用架构，能够有效同时解决多个低层次视觉任务。
• 在多个标准基准上评估所提出架构，以验证其泛化能力及相对于特定任务最先进方法的优越性。

提出的方法

• 提出一种编码器的水平级联结构，其中每个编码器接收来自所有先前编码器的密集跳跃连接，以实现层次化特征融合。
• 使用过渡节点从CNN主干网络聚合多层级特征，逐步优化下游任务的表示。
• 采用多路径侧支路，结合可学习滤波器，以在不同尺度和抽象层次上提取并优化特征。
• 在编码器之间引入密集跳跃连接，以增强特征传播并防止训练过程中的梯度消失。
• 对三种不同任务——显著目标分割、边缘检测和骨架提取——采用相同架构并共享组件，仅通过任务特定的头部进行区分。
• 通过消融研究分析编码器数量、通道宽度和信号流连接对性能的影响。

实验结果

研究问题

• RQ1 一个单一的深度学习架构能否有效解决三种本质不同的像素级二值化分割任务：显著目标分割、边缘检测和骨架提取？
• RQ2 哪些架构组件对于使通用网络优于特定任务的最先进模型至关重要？
• RQ3 通过编码器的水平级联实现的层次化特征融合，如何提升在多样化低层次视觉任务中的性能？
• RQ4 在每个任务上实现性能最大化的最优编码器深度、通道宽度和跳跃连接结构是什么？
• RQ5 密集跳跃连接和多层级特征集成在多大程度上提升了所提出架构的鲁棒性和泛化能力？

主要发现

• 在SK-LARGE数据集上，GearNet在骨架提取任务中的F-measure相比之前最先进方法提升了3.4个百分点。
• 在WH-SYMMAX数据集上，该方法的F-measure相比现有方法提升了2.1分，表明其在不同数据集上具有强大的泛化能力。
• 在显著目标分割任务中，该模型在五个基准数据集上的平均性能相比之前最先进方法提升了近2个百分点。
• 消融研究显示，若移除第二个编码器（E₂），F-measure将下降超过2分，表明其在骨架提取的特征精炼中起着关键作用。
• 减少编码器之间的水平信号流数量，导致F-measure下降约2分，证实了层间特征连通性的重要性。
• 该模型生成的骨架更细、更连续，其优越性在视觉和定量层面均得到验证，适用于下游应用。