[论文解读] Towards Complex Backgrounds: A Unified Difference-Aware Decoder for Binary Segmentation

Jiepan Li, Wei He+1 more|arXiv (Cornell University)|Oct 27, 2022

Visual Attention and Saliency Detection被引用 4

一句话总结

本文提出了一种统一的双分支差异感知解码器（DAD），用于二值分割，通过模拟人类视觉注意机制，增强复杂背景中前景与背景的区分度。通过在三个阶段——引导图生成、背景感知特征融合与差异引导增强——利用多级特征，DAD 在显著性物体检测、伪装物体检测、息肉分割和镜像检测任务中均实现了最先进（SOTA）的性能表现。

ABSTRACT

Binary segmentation is used to distinguish objects of interest from background, and is an active area of convolutional encoder-decoder network research. The current decoders are designed for specific objects based on the common backbones as the encoders, but cannot deal with complex backgrounds. Inspired by the way human eyes detect objects of interest, a new unified dual-branch decoder paradigm named the difference-aware decoder is proposed in this paper to explore the difference between the foreground and the background and separate the objects of interest in optical images. The difference-aware decoder imitates the human eye in three stages using the multi-level features output by the encoder. In Stage A, the first branch decoder of the difference-aware decoder is used to obtain a guide map. The highest-level features are enhanced with a novel field expansion module and a dual residual attention module, and are combined with the lowest-level features to obtain the guide map. In Stage B, the other branch decoder adopts a middle feature fusion module to make trade-offs between textural details and semantic information and generate background-aware features. In Stage C, the proposed difference-aware extractor, consisting of a difference guidance model and a difference enhancement module, fuses the guide map from Stage A and the background-aware features from Stage B, to enlarge the differences between the foreground and the background and output a final detection result. The results demonstrate that the difference-aware decoder can achieve a higher accuracy than the other state-of-the-art binary segmentation methods for these tasks.

研究动机与目标

• 解决在前景物体与背景在视觉上相似或难以区分的复杂背景下实现精确二值分割的挑战。
• 通过设计一种适用于多种二值分割任务的统一解码器架构，克服特定任务解码器的局限性。
• 通过模拟人类视觉系统三阶段检测过程（粗略检测、背景注意、差异放大）来改进特征表示。
• 通过引入新型模块，如感受野扩展模块、双残差注意力和差异感知融合机制，增强特征判别能力。
• 利用 VGG、ResNet、Res2Net 和 PVT 等标准主干网络，在多个二值分割任务中验证方法的泛化性与鲁棒性。

提出的方法

• 阶段 A 利用编码器的最高层和最低层特征，结合感受野扩展模块（FEM）与双残差注意力机制，生成用于目标定位的引导图。
• 阶段 B 采用中间特征融合（MFF）模块，平衡中层特征中的语义与纹理信息，生成背景感知特征。
• 阶段 C 通过差异感知提取器（DAE）融合引导图与背景感知特征，该模块结合了差异引导模型（DGM）与差异增强模块（DEM）。
• DGM 使用类似交叉注意力的机制，利用引导图中的先验知识对特征进行细化，增强前景相关性。
• DEM 通过执行特征相减（前景 - 背景）来放大前景与背景之间的差异，提升分割精度。
• DAE 模块设计为即插即用组件，可重复两次以实现最优性能，避免过度使用导致性能下降。

实验结果

研究问题

• RQ1 统一的解码器架构是否能有效处理具有复杂背景的多样化二值分割任务？
• RQ2 如何在基于深度学习的分割框架中有效建模人类视觉注意机制？
• RQ3 如何设计一种解码器，以同时增强前景定位与背景判别能力？
• RQ4 FEM、MFF、DGM 和 DEM 等独立组件在复杂背景场景下的性能提升中分别起到何种作用？
• RQ5 所提出的差异感知融合策略是否在二值分割任务中优于标准特征融合或注意力机制？

主要发现

• 差异感知解码器（DAD）在四项二值分割任务中均实现了最先进性能：显著性物体检测（SOD）、伪装物体检测（COD）、息肉分割与镜像检测。
• 在 CAMO 数据集上，DAD 的 $E_{\rho}$ 达到 0.895，$M$ 为 0.063，优于最先进方法 BASNet（0.887，0.068）的两项指标。
• 在 COD10K 数据集上，DAD 的 $E_{\rho}$ 为 0.905，$M$ 为 0.032，两项指标均超过 SINet V2（0.898，0.038）。
• 在 ECSSD 数据集上，DAD 的 $E_{\rho}$ 达到 0.963，$M$ 为 0.028，优于 Polyp-PVT 的表现（0.950，0.032）。
• 在 PASCAL-S 数据集上，DAD 的 $E_{\rho}$ 为 0.909，$M$ 为 0.058，优于 MirrorNet（0.901，0.060）的性能。
• 消融实验表明，感受野扩展模块（FEM）优于 ASPP 与 RFB；将 DAE 模块重复两次可获得最优性能，而重复三次则导致性能下降。