[论文解读] Saliency Detection by Forward and Backward Cues in Deep-CNNs

Nevrez İmamoğlu, Chi Zhang+3 more|arXiv (Cornell University)|Mar 1, 2017

Visual Attention and Saliency Detection参考文献 19被引用 7

一句话总结

本文提出了一种弱监督显著性检测模型，利用预训练深度卷积神经网络的前向和后向特征，在无需真实标签监督的情况下识别显著目标。通过结合自顶向下的线索（通过部分引导反向传播获得）的物体性分数，并与自底向上的模型增强，该方法在两个基准数据集上实现了最先进性能，证明了在显著性检测中融合前向与后向线索的有效性。

ABSTRACT

As prior knowledge of objects or object features helps us make relations for similar objects on attentional tasks, pre-trained deep convolutional neural networks (CNNs) can be used to detect salient objects on images regardless of the object class is in the network knowledge or not. In this paper, we propose a top-down saliency model using CNN, a weakly supervised CNN model trained for 1000 object labelling task from RGB images. The model detects attentive regions based on their objectness scores predicted by selected features from CNNs. To estimate the salient objects effectively, we combine both forward and backward features, while demonstrating that partially-guided backpropagation will provide sufficient information for selecting the features from forward run of CNN model. Finally, these top-down cues are enhanced with a state-of-the-art bottom-up model as complementing the overall saliency. As the proposed model is an effective integration of forward and backward cues through objectness without any supervision or regression to ground truth data, it gives promising results compared to state-of-the-art models in two different datasets.

研究动机与目标

• 开发一种无需真实标签注释或回归到标注数据的显著性检测模型。
• 探索预训练卷积神经网络中前向与后向特征在识别显著区域方面的效用。
• 整合自顶向下的物体性线索与自底向上的显著性，以提升检测性能。
• 证明部分引导反向传播在缺乏完整监督的情况下，可提供足够信息以实现有效特征选择。
• 仅依赖预训练网络知识，在标准显著性检测基准上实现具有竞争力的性能。

提出的方法

• 将一个预训练的1000类ImageNet卷积神经网络作为弱监督源，用于获取物体性分数。
• 应用部分引导反向传播，提取突出显示与显著性相关特征的后向线索。
• 将前向传播的物体性分数与反向传播的相关性图结合，生成自顶向下的显著性线索。
• 将自顶向下的显著性与最先进的自底向上显著性模型结合，以优化预测结果。
• 不使用任何额外训练或监督；完全依赖预训练卷积神经网络的内部表征。
• 将最终的显著性图作为自顶向下的（基于物体性）与自底向上的（低层次特征）线索的融合结果。

实验结果

研究问题

• RQ1 是否可以仅利用预训练卷积神经网络的前向与后向特征，在无任何真实标签监督的情况下有效执行显著性检测？
• RQ2 深度卷积神经网络中的前向与后向线索如何共同促进图像中显著目标的识别？
• RQ3 在缺乏完整监督的情况下，部分引导反向传播是否能提供足够信息以选择显著特征？
• RQ4 与独立模型相比，自顶向下与自底向上线索的融合是否能提升显著性检测性能？
• RQ5 在不使用标注数据的情况下，该方法在标准基准上与最先进方法相比表现如何？

主要发现

• 所提模型在两个基准数据集上实现了最先进性能，且无需任何真实标签注释或监督微调。
• 部分引导反向传播有效捕捉了显著性检测的相关特征，减少了对完整反向传播的依赖。
• 自顶向下的物体性线索与自底向上的特征的融合显著提升了显著性图的质量与定位精度。
• 该模型展现出强大的泛化能力，能够检测出不属于1000个ImageNet类别中的显著目标。
• 该方法在DUT-OMRON与PASCAL-S数据集上均优于现有的弱监督与无监督显著性检测模型。