[论文解读] Progressive Feature Polishing Network for Salient Object Detection

Bo Wang, Quan Chen+4 more|arXiv (Cornell University)|Nov 14, 2019

Visual Attention and Saliency Detection被引用 10

一句话总结

本文提出渐进式特征精炼网络（PFPN），一种简单而有效的框架，通过循环、并行的方式使用特征精炼模块（FPMs）迭代优化多层级特征。通过在每个阶段直接将高层语义信息整合到所有低层级特征中，PFPN缓解了长期依赖问题，并在五个基准数据集上实现了最先进性能，无需后处理，且性能随更多精炼步骤而单调提升。

ABSTRACT

Feature matters for salient object detection. Existing methods mainly focus on designing a sophisticated structure to incorporate multi-level features and filter out cluttered features. We present Progressive Feature Polishing Network (PFPN), a simple yet effective framework to progressively polish the multi-level features to be more accurate and representative. By employing multiple Feature Polishing Modules (FPMs) in a recurrent manner, our approach is able to detect salient objects with fine details without any post-processing. A FPM parallelly updates the features of each level by directly incorporating all higher level context information. Moreover, it can keep the dimensions and hierarchical structures of the feature maps, which makes it flexible to be integrated with any CNN-based models. Empirical experiments show that our results are monotonically getting better with increasing number of FPMs. Without bells and whistles, PFPN outperforms the state-of-the-art methods significantly on five benchmark datasets under various evaluation metrics.

研究动机与目标

• 解决现有显著对象检测方法因间接的多层级特征融合而导致的信息丢失与长期依赖问题。
• 开发一种简单、可泛化的框架，在无需复杂结构修改的前提下提升所有层级的特征表示质量。
• 通过迭代特征精炼直接生成高保真预测，消除对后处理的依赖。
• 在特征精炼过程中保持层级结构与维度一致性，实现与任意基于CNN主干网络的无缝集成。

提出的方法

• PFPN采用循环架构，按顺序应用多个特征精炼模块（FPMs），以逐步优化多层级特征。
• 每个FPM通过直接将高层语义特征融合到低层级特征中，同时并行更新所有特征层级，保持其原始维度与层级结构。
• FPM设计避免使用级联或跳跃连接式的特征聚合方式，减少了U-Net或递归精炼方法中常见的长期依赖问题。
• 该框架使用过渡模块（TMs）对主干网络与FPM之间的特征维度进行对齐，确保各层级间的兼容性。
• FPM中的特征融合通过逐元素拼接与卷积操作实现，保持结构简洁的同时实现高效的信息流动。
• 整个网络端到端可训练，无需像DenseCRF那样的后处理，模型可直接学习生成高质量显著图。

实验结果

研究问题

• RQ1 一种简单、循环的特征精炼机制是否能在不引入复杂架构的前提下，提升显著对象检测中多层级表征的质量？
• RQ2 在多个阶段中对特征进行渐进式精炼，如何影响检测精度与细节恢复能力？
• RQ3 将高层语义信息直接整合到所有低层级特征中，是否优于间接或顺序式的特征聚合方法？
• RQ4 所提方法在多大程度上减少了对DenseCRF等后处理技术的依赖？
• RQ5 精炼步骤的数量如何影响性能表现？性能是否会随着迭代次数增加而收敛？

主要发现

• PFPN在使用2个FPM时，在五个基准数据集上达到最先进性能，优于16种SOTA方法，多个指标（包括MAE、max F、mean F和S）表现更优。
• 随着FPM数量的增加，模型性能单调提升，其中从T=0到T=1的增益最大，而T>3后性能提升趋于微小。
• 即使不使用任何后处理，PFPN的性能仍优于其他使用DenseCRF的方法，表明其内在特征学习能力更优。
• 在FPM间共享权重会导致性能下降，相较于独立权重，说明阶段特定的精炼更有效。
• 可视化结果表明，显著图在每一轮精炼后逐渐变得更清晰、更准确，细粒度细节与杂乱区域被系统性地优化。