[论文解读] SE2Net: Siamese Edge-Enhancement Network for Salient Object Detection

Sanping Zhou, Jimuyang Zhang+3 more|arXiv (Cornell University)|Mar 29, 2019

Visual Attention and Saliency Detection参考文献 50被引用 13

一句话总结

本文提出 SE2Net，一种孪生边缘增强网络，通过多阶段、互补的方式联合预测显著目标区域与边缘，以提升边界精度。通过利用有监督的边缘监督和边缘引导的推理优化，SE2Net 在多个基准测试中达到最先进性能，相比先前方法在 Fβ 和 MAE 上分别提升 1.2–1.8%。

ABSTRACT

Deep convolutional neural network significantly boosted the capability of salient object detection in handling large variations of scenes and object appearances. However, convolution operations seek to generate strong responses on individual pixels, while lack the ability to maintain the spatial structure of objects. Moreover, the down-sampling operations, such as pooling and striding, lose spatial details of the salient objects. In this paper, we propose a simple yet effective Siamese Edge-Enhancement Network (SE2Net) to preserve the edge structure for salient object detection. Specifically, a novel multi-stage siamese network is built to aggregate the low-level and high-level features, and parallelly estimate the salient maps of edges and regions. As a result, the predicted regions become more accurate by enhancing the responses at edges, and the predicted edges become more semantic by suppressing the false positives in background. After the refined salient maps of edges and regions are produced by the SE2Net, an edge-guided inference algorithm is designed to further improve the resulting salient masks along the predicted edges. Extensive experiments on several benchmark datasets have been conducted, which show that our method is superior than the state-of-the-art approaches.

研究动机与目标

• 为解决深度神经网络中池化与步幅操作导致的显著目标边缘细节退化问题。
• 通过显式将边缘建模为有监督的语义感知任务，与区域预测并行进行，以提高显著图的精度。
• 利用一种新颖的边缘引导推理算法，纠正目标边界附近的细粒度缺陷，以优化显著性预测。
• 通过多阶段孪生架构中区域分支与边缘分支的互补学习，实现优于现有方法的性能。

提出的方法

• 设计一个多阶段孪生网络，通过融合低级与高级特征以及前一阶段的预测结果，迭代优化显著性预测。
• 网络包含两个并行分支：一个用于预测显著区域，另一个用于预测目标边缘，两者均以完全监督的方式训练。
• 每个阶段的边缘与区域预测结果，连同低级与高级特征，被输入到下一阶段，以逐步优化输出。
• 在网络后处理阶段应用一种新颖的边缘引导推理算法，通过纠正预测边缘上的错误，进一步提升最终显著性掩码的质量。
• 使用现成的边缘检测器（如 Canny、Laplacian）从真实标签掩码生成边缘图，以实现对边缘学习的精确监督。
• 架构采用主干网络（如 VGG16、ResNet50）提取初始特征，随后通过带有跳跃连接的阶段式优化模块进行特征细化。

实验结果

研究问题

• RQ1 在孪生多阶段网络中联合学习显著区域与边缘，是否能提升显著目标检测中的边界精度？
• RQ2 与弱监督或隐式边缘建模相比，完全监督的边缘监督是否能带来更精确且语义更清晰的边缘预测？
• RQ3 边缘引导的推理步骤是否能通过纠正预测边缘上的错误，进一步优化显著性图？
• RQ4 在准确率与推理速度方面，该方法与最先进方法相比表现如何？

主要发现

• SE2Net 在六个基准数据集上达到最先进性能，当使用 ResNet50 作为主干网络时，Fβ 提升 1.2%，MAE 提升 1.8%。
• 在 ESSCD 数据集上，SE2Net 的 Fβ 达到 0.958，MAE 为 0.032，相比最佳竞争方法（MSR）在 Fβ 上提升 4.5%，在 MAE 上提升 41%。
• 与 R3Net 相比，该方法将 MAE 降低 1.6%，Fβ 提升 2.6%，证明了边缘分支与多阶段优化的有效性。
• 边缘引导推理步骤显著提升了目标边界附近的掩码质量，定性结果已明确验证。
• SE2Net 计算效率高，对于 300×300 输入图像，生成显著性图仅需 0.022 秒，推理速度具有竞争力。
• 消融实验确认，孪生多阶段设计与边缘引导推理均对性能提升有显著贡献。