[论文解读] Selectivity or Invariance: Boundary-aware Salient Object Detection

Jinming Su, Jia Li+3 more|arXiv (Cornell University)|Dec 25, 2018

Visual Attention and Saliency DetectionComputer Science参考文献 50被引用 20

一句话总结

该论文提出了一种具有连续空洞卷积的边界感知网络（BANet），以解决显著性物体检测中的选择性-不变性困境：在边界处提取具有选择性的特征以实现细粒度区分，同时在内部区域提取具有不变性的特征以实现整体物体检测。通过集成边界定位分支、内部感知分支和过渡补偿分支，并结合集成的连续空洞卷积模块，BANet在六个基准数据集上实现了最先进性能，显著优于16种SOTA方法，在F-measure和MAE指标上均有显著提升。

ABSTRACT

Typically, a salient object detection (SOD) model faces opposite requirements in processing object interiors and boundaries. The features of interiors should be invariant to strong appearance change so as to pop-out the salient object as a whole, while the features of boundaries should be selective to slight appearance change to distinguish salient objects and background. To address this selectivity-invariance dilemma, we propose a novel boundary-aware network with successive dilation for image-based SOD. In this network, the feature selectivity at boundaries is enhanced by incorporating a boundary localization stream, while the feature invariance at interiors is guaranteed with a complex interior perception stream. Moreover, a transition compensation stream is adopted to amend the probable failures in transitional regions between interiors and boundaries. In particular, an integrated successive dilation module is proposed to enhance the feature invariance at interiors and transitional regions. Extensive experiments on six datasets show that the proposed approach outperforms 16 state-of-the-art methods.

研究动机与目标

• 为解决显著性物体检测中固有的矛盾：即内部特征需对外观变化保持不变，而边界特征需对细微差异具有选择性。
• 提升分割精度，尤其是在细粒度边界和显著物体内部存在大外观变化的区域。
• 构建一个统一的深度学习框架，分别处理不同物体区域的特征选择性与不变性。
• 通过一种新型多路径空洞卷积模块，增强内部和过渡区域的上下文特征提取能力。

提出的方法

• 网络采用ResNet-50主干网络提取共享特征，随后输入至三个专用分支：边界定位、内部感知和过渡补偿。
• 边界定位分支使用轻量级子网络，提取高度选择性的特征，以实现精确的边界检测。
• 内部感知分支采用复杂架构，并引入集成连续空洞卷积（ISD）模块，以提取对外观变化具有鲁棒性的不变特征。
• 过渡补偿分支通过优化特征表示，修正内部与边界之间过渡区域可能存在的误差。
• ISD模块通过多条并行路径（不同空洞率）增强上下文聚合，提升在多样化视觉模式下的特征不变性。
• 最终通过自适应融合三个分支的输出，生成显著性图，形成具有边界感知能力的特征拼贴，实现精确且整体的检测。

实验结果

研究问题

• RQ1 深度学习模型如何同时在物体边界实现高选择性，同时在物体内部实现高不变性？
• RQ2 在显著性物体检测中，哪些架构组件最有效缓解选择性-不变性困境？
• RQ3 专用的过渡补偿分支是否能提升特征需求从不变性向选择性转变区域的性能？
• RQ4 集成连续空洞卷积模块在复杂视觉场景中在多大程度上增强了特征不变性？

主要发现

• BANet在六个基准数据集上全面超越16种SOTA方法，在F-measure和MAE指标上均表现出一致的优越性。
• 仅引入边界定位分支即可显著降低MAE并提高F-measure，表明边界选择性的增强带来了显著的性能提升。
• 在IPS + BLS设置中增加过渡补偿分支后，HKU-IS数据集上的Fβ分数最高提升1.5%，证实其在修正过渡区域误差方面的有效性。
• 移除ISD模块后性能急剧下降，复杂场景（如反光和重叠物体）中出现错误的显著物体预测。
• 将ISD替换为ASPP或ASPP-M后结果更差，证明ISD的多路径信息流对实现鲁棒特征不变性至关重要。
• 定性结果表明，BANet生成的边界更精确、更清晰，且能更好地将显著物体作为整体进行捕捉，即使在大外观变化下也表现优异。