[论文解读] PiCANet: Learning Pixel-wise Contextual Attention for Saliency Detection

Nian Liu, Junwei Han+1 more|arXiv (Cornell University)|Aug 21, 2017

Visual Attention and Saliency Detection参考文献 11被引用 51

一句话总结

PiCANet 学习像素级上下文注意力，针对每个像素选择性地加权上下文信息，在与如 U-Net 的 CNN 集成时提升显著性检测，使用全局和局部上下文形式。

ABSTRACT

Contexts play an important role in the saliency detection task. However, given a context region, not all contextual information is helpful for the final task. In this paper, we propose a novel pixel-wise contextual attention network, i.e., the PiCANet, to learn to selectively attend to informative context locations for each pixel. Specifically, for each pixel, it can generate an attention map in which each attention weight corresponds to the contextual relevance at each context location. An attended contextual feature can then be constructed by selectively aggregating the contextual information. We formulate the proposed PiCANet in both global and local forms to attend to global and local contexts, respectively. Both models are fully differentiable and can be embedded into CNNs for joint training. We also incorporate the proposed models with the U-Net architecture to detect salient objects. Extensive experiments show that the proposed PiCANets can consistently improve saliency detection performance. The global and local PiCANets facilitate learning global contrast and homogeneousness, respectively. As a result, our saliency model can detect salient objects more accurately and uniformly, thus performing favorably against the state-of-the-art methods.

研究动机与目标

• 激励在显著性检测中使用上下文信息，并承认并非所有上下文信息都同等有信息量。
• 引入一个像素级上下文注意力机制，使其学习对每个像素的有信息量的上下文位置进行关注。
• 提出全局 PiCANet 与局部 PiCANet 两种变体，分别捕捉全局和局部上下文。
• 通过将 PiCANet 嵌入到如 U-Net 的 CNN 架构中，实现端到端训练。
• 展示在显著性方法中持续的性能提升，相对于最先进的方法。

提出的方法

• 将 PiCANet 定义为一个模块，输出一个针对每个像素在所有上下文位置上的注意力图。
• 通过像素级注意力权重的加权聚合，计算关注后的上下文特征。
• 给出两种变体：全球 PiCANet 用于全局上下文，局部 PiCANet 用于局部上下文。
• 确保这些模块完全可微分且可整合到 CNN 中以实现联合训练。
• 将 PiCANet 与 U-Net 架构结合以检测显著对象。
• 通过大量实验展示 PiCANet 提升显著性检测，并有助于学习全局对比度和一致性。

实验结果

研究问题

• RQ1 像素级上下文注意力是否能够通过选择性关注有信息的上下文位置来提升显著性检测？
• RQ2 全局 PiCANet 与局部 PiCANet 变体对显著性性能有何贡献？
• RQ3 将 PiCANet 与 U-Net 集成是否能提升显著性准确性和显著性图的一致性？
• RQ4 PiCANet 是否可微且能在标准 CNN 主干中实现端到端训练？

主要发现

• PiCANet 学会了在每个像素处反映上下文相关性的注意力权重。
• 全局 PiCANet 有助于学习全球对比度，而局部 PiCANet 有助于显著性图的均匀性。
• 增强的 PiCANet 模型在显著性检测性能上持续改善。
• 将 PiCANet 与 U-Net 集成在与最先进方法对比中取得有利结果。
• 全局和局部 PiCANet 均可在端到端 CNN 框架内实现全微分和训练。