[论文解读] Recursive Contour Saliency Blending Network for Accurate Salient Object Detection

Yi Ke Yun, Takahiro Tsubono|arXiv (Cornell University)|May 28, 2021

Visual Attention and Saliency Detection被引用 7

一句话总结

该论文提出RCSBNet，一种递归轮廓显著性融合网络，通过新颖的轮廓-显著性融合（CSB）模块，将轮廓与显著性特征融合，利用递归CNN在保持效率的同时提升边界精度，实现显著性物体检测的最先进性能，仅使用27.900万参数，在五个基准数据集上优于更大的模型。

ABSTRACT

Contour information plays a vital role in salient object detection. However, excessive false positives remain in predictions from existing contour-based models due to insufficient contour-saliency fusion. In this work, we designed a network for better edge quality in salient object detection. We proposed a contour-saliency blending module to exchange information between contour and saliency. We adopted recursive CNN to increase contour-saliency fusion while keeping the total trainable parameters the same. Furthermore, we designed a stage-wise feature extraction module to help the model pick up the most helpful features from previous intermediate saliency predictions. Besides, we proposed two new loss functions, namely Dual Confinement Loss and Confidence Loss, for our model to generate better boundary predictions. Evaluation results on five common benchmark datasets reveal that our model achieves competitive state-of-the-art performance.

研究动机与目标

• 解决基于轮廓的显著性物体检测模型中因轮廓-显著性融合较弱而导致的过度误报问题。
• 在不牺牲性能的前提下，降低模型复杂度与可训练参数量，应对显著性检测中大参数模型的趋势。
• 通过端到端融合，更有效地整合轮廓与显著性特征，提升边界预测精度。
• 通过引入分阶段特征提取（SFE）模块，消除对中间监督的冗余侧支路。
• 通过使用两种新颖损失函数的双目标训练策略，提升模型置信度与预测精度。

提出的方法

• 提出轮廓-显著性融合（CSB）模块，实现在递归CNN架构内，轮廓分支与显著性分支之间的迭代、双向特征交换。
• 采用递归CNN在不增加模型大小的前提下加深网络，同时保持可训练参数总量恒定，提升特征表示能力。
• 引入分阶段特征提取（SFE）模块，直接在主干网络中对中间显著性与轮廓预测进行监督，无需辅助侧支路。
• 设计双约束损失（DCLoss），通过在形状与空间范围上约束显著性图更接近真实标签，以优化边界预测。
• 提出置信度损失（CLoss），通过鼓励正确预测输出高置信度，提升模型对困难样本的预测置信度。
• 联合使用BCE、加权IOU、DCLoss与CLoss进行模型训练，同步优化准确率与置信度。

实验结果

研究问题

• RQ1 递归的轮廓与显著性分支特征融合是否能在减少模型参数的同时提升边界检测精度？
• RQ2 轮廓与显著性特征的早期端到端融合是否优于采用侧支路监督的独立分支训练？
• RQ3 分阶段特征提取模块是否能有效抑制误报而不增加冗余参数？
• RQ4 与标准损失相比，所提出的DCLoss与CLoss在边界精度与模型置信度方面提升程度如何？
• RQ5 仅使用27.900万参数的轻量化模型是否能在多个基准数据集上实现最先进性能？

主要发现

• RCSBNet在DUTS-TE数据集上达到0.855的平均F-measure，在ECSSD数据集上达到0.927，优于五个基准数据集上的13种最先进模型。
• 该模型仅使用2790万参数，性能具有竞争力，显著少于EGNet（1.08亿）、BASNet（8700万）与U2Net（4400万）等模型。
• 消融实验表明，结合优化模块与置信度监督可获得最佳性能，相比基线F-measure提升0.013。
• SFE模块的引入使DUTS-TE数据集上的平均绝对误差（M）从0.040降至0.034，表明对误报的抑制能力更强。
• 使用DCLoss与CLoss后，DUTS-TE的M得分达到0.034，ECSSD的E-measure达到0.903，表明边界一致性与精度显著提升。
• 定性结果表明，RCSBNet在不同阈值下的F-measure曲线更平滑，表明模型鲁棒性更强，且与二值真实标签对齐更优。