[论文解读] Salient Object Detection via High-to-Low Hierarchical Context Aggregation

Yun Liu, Yu Qiu+4 more|arXiv (Cornell University)|Dec 28, 2018

Visual Attention and Saliency Detection参考文献 53被引用 5

一句话总结

本文提出了一种用于显著性目标检测的自顶向下的层次化上下文聚合网络，通过在沙漏架构中引入中间监督，逐步学习从全局到局部的上下文特征。通过融合这些层次化特征，该方法在六个基准数据集上实现了最先进性能，设计简洁而高效，优于复杂的融合架构。

ABSTRACT

Recent progress on salient object detection mainly aims at exploiting how to effectively integrate convolutional side-output features in convolutional neural networks (CNN). Based on this, most of the existing state-of-the-art saliency detectors design complex network structures to fuse the side-output features of the backbone feature extraction networks. However, should the fusion strategies be more and more complex for accurate salient object detection? In this paper, we observe that the contexts of a natural image can be well expressed by a high-to-low self-learning of side-output convolutional features. As we know, the contexts of an image usually refer to the global structures, and the top layers of CNN usually learn to convey global information. On the other hand, it is difficult for the intermediate side-output features to express contextual information. Here, we design an hourglass network with intermediate supervision to learn contextual features in a high-to-low manner. The learned hierarchical contexts are aggregated to generate the hybrid contextual expression for an input image. At last, the hybrid contextual features can be used for accurate saliency estimation. We extensively evaluate our method on six challenging saliency datasets, and our simple method achieves state-of-the-art performance under various evaluation metrics. Code will be released upon paper acceptance.

研究动机与目标

• 为解决现有显著性检测器依赖日益复杂的融合机制来处理侧输出特征的局限性。
• 探究是否一种更简单的层次化上下文聚合策略能够优于复杂的网络设计，实现更优性能。
• 通过自学习方式，从高层（全局）到低层（局部）特征学习上下文表征，以提升显著性估计性能。
• 证明有效的上下文建模并不需要复杂的网络结构，而更依赖于特征的系统性层次聚合。

提出的方法

• 设计一种沙漏形网络，并通过中间监督引导从顶层到底层的特征学习。
• 利用主干CNN的侧输出特征，以自顶向下的层次结构提取多尺度上下文表征。
• 应用自学习机制，使高层特征引导低层特征的学习，以改善上下文建模。
• 将层次化上下文特征聚合为混合表征，结合全局与局部上下文信息，以提升显著性预测性能。
• 通过多尺度监督训练网络，以增强每一层的特征学习能力。
• 将最终的混合上下文特征作为输入送入最终的显著性预测头，实现端到端训练。

实验结果

研究问题

• RQ1 与复杂的融合机制相比，自顶向下的侧输出特征层次聚合是否能实现更优的显著性检测性能？
• RQ2 以自顶向下的方式学习上下文特征，是否能提升显著性目标检测中全局图像结构的表征能力？
• RQ3 是否可能在不设计过度复杂网络架构的前提下实现最先进性能？
• RQ4 中间监督在引导显著性估计的层次化上下文学习方面有多有效？

主要发现

• 所提方法在六个具有挑战性的显著性检测基准数据集上实现了最先进性能。
• 该模型在多种评估指标下均优于现有最先进方法，表现出更高的准确性。
• 简洁的自顶向下层次化聚合机制优于复杂的融合网络。
• 中间监督的使用显著提升了特征学习与上下文表征能力。
• 该方法有效捕捉了全局与局部上下文信息，从而生成更精确的显著性图。
• 性能增益在多样化数据集上保持一致，表明具有强大的泛化能力。