[论文解读] Pyramid Feature Attention Network for Saliency detection

Ting Zhao, Xiangqian Wu|arXiv (Cornell University)|Mar 1, 2019

Visual Attention and Saliency Detection参考文献 36被引用 60

一句话总结

金字塔特征注意力网络（PFA）引入上下文感知的金字塔特征提取、通道注意力与空间注意力，以及用于改进显著性检测边界的边缘保持损失，在五个基准数据集上实现了最先进的结果。

ABSTRACT

Saliency detection is one of the basic challenges in computer vision. How to extract effective features is a critical point for saliency detection. Recent methods mainly adopt integrating multi-scale convolutional features indiscriminately. However, not all features are useful for saliency detection and some even cause interferences. To solve this problem, we propose Pyramid Feature Attention network to focus on effective high-level context features and low-level spatial structural features. First, we design Context-aware Pyramid Feature Extraction (CPFE) module for multi-scale high-level feature maps to capture rich context features. Second, we adopt channel-wise attention (CA) after CPFE feature maps and spatial attention (SA) after low-level feature maps, then fuse outputs of CA & SA together. Finally, we propose an edge preservation loss to guide network to learn more detailed information in boundary localization. Extensive evaluations on five benchmark datasets demonstrate that the proposed method outperforms the state-of-the-art approaches under different evaluation metrics.

研究动机与目标

• 通过选择有效的高层上下文特征并保留低级空间结构来实现鲁棒的显著性检测。
• 提出 CPFE 来捕捉用于高级特征的多尺度上下文。
• 在 CPFE 之后引入通道注意力，并对低级特征应用空间注意力以细化显著性图。
• 引入边缘保持损失以改善边界定位。
• 在多个数据集上展示最先进的性能。

提出的方法

• 在高级 VGG 块上对膨胀卷积，膨胀率为 3、5、7，生成多尺度上下文特征，然后进行跨通道拼接。
• 对高级 CPFE 特征进行通道注意力（CA）加权，以强调与显著性相关的通道。
• 对低级特征应用空间注意力（SA），以抑制背景噪声并锐化边界。
• 将经 CA 调制的高级特征与经 SA 调制的低级特征融合，生成最终的显著性图。
• 边缘保持损失 L_B 通过对 Laplacian 派生的边界图进行带有交叉熵的监督来指导边界定位，并与标准显著性损失 L_S 组合成 L = α L_S + (1−α) L_B，其中 α 的最佳取值探索为 0.7。

实验结果

研究问题

• RQ1 上下文感知的多尺度高级特征与选择性注意力的组合是否相比无差别的多尺度融合可以提高显著性检测？
• RQ2 高级通道注意力与低级空间注意力是否能提高显著性图质量和边界精度？
• RQ3 边缘保持损失是否提升显著性图的细节和边界定位？
• RQ4 在损失函数中，显著性图像的准确性与边界细节之间的最佳平衡是什么？

主要发现

方法	数据集	wFβ	MAE	备注
Ours	DUTS-test	0.8702	0.0405	Best overall on DUTS-test in Table 1/4.
Ours	ECSSD	0.9313	0.0328	Best overall on ECSSD.
Ours	HKU-IS	0.9264	0.0324	Best overall on HKU-IS.
Ours	PASCAL-S	0.8922	0.0677	Best overall on PASCAL-S.
Ours	DUT-OMRON	0.8557	0.0414	Best overall on DUT-OMRON.

• 所提出的方法在五个基准数据集上，在 wFβ 和 MAE 等指标上达到最先进的性能。
• CPFE 捕捉高级特征的多尺度上下文，当与通道注意力结合时，改善了显著区域的定位。
• 经空间注意力细化的低级特征有助于保持边界并抑制背景噪声。
• 边缘保持损失显著改善边界细节，α = 0.7 在 DUTS-test 上获得最佳 MAE 和 wFβ。
• 消融研究表明所有组件（CPFE、CA、SA、边缘保持损失）对性能提升有贡献；完整模型获得最佳结果。
• 与前方方法相比，该方法显示出强鲁棒性，特别在像 DUT-OMRON 这样的挑战性数据集上获得更大增益。