[论文解读] TRACER: Extreme Attention Guided Salient Object Tracing Network

Min Seok Lee, Woo-Seok Shin+1 more|arXiv (Cornell University)|Dec 14, 2021

Visual Attention and Saliency Detection被引用 15

一句话总结

TRACER 提出了一种新颖的显著目标检测网络，通过极端注意力机制提升性能与效率：使用掩码边缘注意力模块以精细化边缘传播，使用联合注意力模块实现多层级特征融合，使用解码器中的目标注意力模块以恢复遗漏的目标。通过自适应像素级损失函数和选择性模块使用，该方法在五个基准数据集上实现了最先进性能，同时提升了准确率并降低了计算成本。

ABSTRACT

Existing studies on salient object detection (SOD) focus on extracting distinct objects with edge information and aggregating multi-level features to improve SOD performance. To achieve satisfactory performance, the methods employ refined edge information and low multi-level discrepancy. However, both performance gain and computational efficiency cannot be attained, which has motivated us to study the inefficiencies in existing encoder-decoder structures to avoid this trade-off. We propose TRACER, which detects salient objects with explicit edges by incorporating attention guided tracing modules. We employ a masked edge attention module at the end of the first encoder using a fast Fourier transform to propagate the refined edge information to the downstream feature extraction. In the multi-level aggregation phase, the union attention module identifies the complementary channel and important spatial information. To improve the decoder performance and computational efficiency, we minimize the decoder block usage with object attention module. This module extracts undetected objects and edge information from refined channels and spatial representations. Subsequently, we propose an adaptive pixel intensity loss function to deal with the relatively important pixels unlike conventional loss functions which treat all pixels equally. A comparison with 13 existing methods reveals that TRACER achieves state-of-the-art performance on five benchmark datasets. We have released TRACER at https://github.com/Karel911/TRACER.

研究动机与目标

• 解决现有显著目标检测（SOD）方法在性能与计算效率之间的权衡问题。
• 通过最小化冗余注意力与解码器模块的使用，减少编码器-解码器架构中的低效性。
• 通过注意力引导模块改善边缘表征与多层级特征聚合。
• 开发一种像素自适应损失函数，优先关注细粒度且明确的边缘，而非背景与中心目标区域。
• 在基准数据集上实现最先进性能，同时保持极低的参数量与FLOP开销。

提出的方法

• 引入一种基于快速傅里叶变换的掩码边缘注意力模块，用于在首个编码器块中精细化边缘特征并将其向下游传播。
• 在多层级聚合中采用联合注意力模块，以减少分布差异并识别关键通道与空间特征。
• 在解码器中使用目标注意力模块，从精细化特征中提取未检测到的目标与边缘细节，从而最小化解码器模块的使用。
• 提出一种自适应像素强度损失函数，为靠近明确边缘的像素分配更高权重，从而提升定位精度。
• 在损失函数中采用分层多核聚合，核大小为{3, 15, 31}，以增强结构感知能力并提高对噪声标签的鲁棒性。
• 将框架与多种主干网络（如ResNet、DenseNet、Xception）集成，并在多种架构上验证其有效性。

实验结果

研究问题

• RQ1 注意力机制是否可被战略性地应用，以在降低计算成本的同时提升SOD性能？
• RQ2 如何在不增加参数量或FLOP开销的前提下，有效实现从浅层到深层的边缘特征传播？
• RQ3 何种方式的多层级特征聚合可最小化分布差异并增强互补信息的利用？
• RQ4 自适应像素级损失函数是否能提升对细小边缘的检测能力并降低背景噪声的影响？
• RQ5 损失函数中的分层多核聚合是否能增强结构感知能力与模型鲁棒性？

主要发现

• TRACER在五个基准数据集上实现了最先进性能：DUTS-TE、DUT-O、HKU-IS、ECSSD与PASCAL-S。
• 在DUTS-TE上，TRACER实现了MaxF为0.936、MAE为0.026、$S_m$为0.931，优于13种现有方法。
• TRACER的TE4变体仅使用8.64 GFLOPs即达到MaxF为0.936，展现出极高的效率。
• 在自适应像素强度损失中使用三种核大小（3、15、31）时性能最佳，优于单核或双核变体。
• 基于Xception的TRACER变体在25.38 GFLOPs下实现高精度（MaxF: 0.927），展现出优异的效率-性能平衡。
• 消融实验表明，分层多核聚合可提升结构感知能力并增强对噪声标签的鲁棒性。