[论文解读] Self-explanatory Deep Salient Object Detection

Huaxin Xiao, Jiashi Feng+2 more|arXiv (Cornell University)|Aug 18, 2017

Visual Attention and Saliency Detection参考文献 40被引用 9

一句话总结

本文提出了首个自解释性深度显著目标检测网络（SENet），通过密集的短程与远程连接整合多层级特征，提升性能，同时引入自解释性生成器以可视化特征贡献并解释模型决策。该方法在五个基准数据集上实现了最先进性能，准确率与边界保持能力均得到提升。

ABSTRACT

Salient object detection has seen remarkable progress driven by deep learning techniques. However, most of deep learning based salient object detection methods are black-box in nature and lacking in interpretability. This paper proposes the first self-explanatory saliency detection network that explicitly exploits low- and high-level features for salient object detection. We demonstrate that such supportive clues not only significantly enhances performance of salient object detection but also gives better justified detection results. More specifically, we develop a multi-stage saliency encoder to extract multi-scale features which contain both low- and high-level saliency context. Dense short- and long-range connections are introduced to reuse these features iteratively. Benefiting from the direct access to low- and high-level features, the proposed saliency encoder can not only model the object context but also preserve the boundary. Furthermore, a self-explanatory generator is proposed to interpret how the proposed saliency encoder or other deep saliency models making decisions. The generator simulates the absence of interesting features by preventing these features from contributing to the saliency classifier and estimates the corresponding saliency prediction without these features. A comparison function, saliency explanation, is defined to measure the prediction changes between deep saliency models and corresponding generator. Through visualizing the differences, we can interpret the capability of different deep neural networks based saliency detection models and demonstrate that our proposed model indeed uses more reasonable structure for salient object detection. Extensive experiments on five popular benchmark datasets and the visualized saliency explanation demonstrate that the proposed method provides new state-of-the-art.

研究动机与目标

• 为解决基于深度学习的显著目标检测模型缺乏可解释性的问题，这些模型通常为黑箱系统。
• 通过多尺度特征重用显式利用低层与高层特征，以提升检测性能。
• 开发一种机制，通过模拟特征缺失来解释模型为何做出特定显著性预测。
• 通过对比有无关键特征时的预测结果，实现对模型行为的可视化解释。
• 证明所提模型使用的特征结构比现有方法更合理、更具说服力。

提出的方法

• 设计多阶段显著性编码器以提取多尺度特征，通过密集的短程与远程连接整合低层细节与高层上下文。
• 通过将不同残差块（如 res4b22、res3b3）的上采样特征与低层特征拼接，实现短程连接。
• 通过在各阶段间密集拼接所有中间特征，建立长程连接，以增强特征重用与上下文建模能力。
• 在每个阶段后引入上下文模块，以在通过密集连接前优化特征表示，提升表征质量。
• 提出自解释性生成器，通过掩码特定特征来模拟其缺失，并测量预测变化。
• 显著性解释计算为原始预测与掩码后预测的差异，可视化以解释特征重要性。

实验结果

研究问题

• RQ1 通过密集连接显式整合低层与高层特征，是否能提升显著目标检测性能？
• RQ2 自解释性生成器是否能通过模拟特征缺失，有效解释深度显著性模型的决策过程？
• RQ3 不同连接模式（短程 vs. 长程，密集 vs. 稀疏）如何影响模型性能与特征利用？
• RQ4 与现有最先进模型相比，所提方法在边界保持与检测准确率方面提升程度如何？
• RQ5 可视化显著性解释是否能揭示比传统模型更合理、更具说服力的特征使用方式？

主要发现

• 所提SENet在五个基准数据集上实现最先进性能，在PASCAL-S数据集上使用密集连接与上下文模块时，F-measure达到0.864。
• 消融实验表明，添加密集长程连接相比稀疏连接使Fω提升0.9%，上下文模块使性能提升1.2%。
• 在表III中，所有密集连接与上下文模块均启用的模型（编号11）在PASCAL-S上达到0.864的Fω，相比基线模型提升3.4%。
• 自解释性生成器成功可视化了支持或抑制显著性预测的图像区域，揭示了比现有模型更合理的特征使用方式。
• 在单张GPU上，每张图像推理时间为0.25秒，快于DCL（1.1秒），与DSS（0.21秒）相当，且无需CRF后处理。
• 失败案例显示，当存在高对比度非显著目标（如黑鼠）时，模型易受其干扰而主导注意力，表明在处理强视觉干扰方面仍存在局限。