[论文解读] Unifying Global-Local Representations in Salient Object Detection with Transformer

Sucheng Ren, Qiang Wen+3 more|arXiv (Cornell University)|Aug 5, 2021

Visual Attention and Saliency Detection参考文献 52被引用 13

一句话总结

本文提出 GLSTR，一种基于视觉变换器的框架，通过在浅层中利用自注意力机制，统一显著目标检测中的全局与局部表征，以保留空间细节并捕捉长距离依赖关系。该方法采用深度变换解码器，结合密集跳跃连接与渐进式上采样，相较于现有最先进方法，在五个基准数据集上实现了平均 12.17% 的平均绝对误差（MAE）提升。

ABSTRACT

The fully convolutional network (FCN) has dominated salient object detection for a long period. However, the locality of CNN requires the model deep enough to have a global receptive field and such a deep model always leads to the loss of local details. In this paper, we introduce a new attention-based encoder, vision transformer, into salient object detection to ensure the globalization of the representations from shallow to deep layers. With the global view in very shallow layers, the transformer encoder preserves more local representations to recover the spatial details in final saliency maps. Besides, as each layer can capture a global view of its previous layer, adjacent layers can implicitly maximize the representation differences and minimize the redundant features, making that every output feature of transformer layers contributes uniquely for final prediction. To decode features from the transformer, we propose a simple yet effective deeply-transformed decoder. The decoder densely decodes and upsamples the transformer features, generating the final saliency map with less noise injection. Experimental results demonstrate that our method significantly outperforms other FCN-based and transformer-based methods in five benchmarks by a large margin, with an average of 12.17% improvement in terms of Mean Absolute Error (MAE). Code will be available at https://github.com/OliverRensu/GLSTR.

研究动机与目标

• 解决全卷积网络（FCNs）在显著目标检测中全局上下文与局部细节保留之间的权衡问题。
• 通过自注意力机制，在深层网络的每一层内统一全局与局部表征。
• 克服基于 CNN 的模型因需要深层堆叠以获取全局上下文，而往往损失细粒度空间细节的局限性。
• 设计一种新型解码器，充分挖掘每一层变换器输出的独特、非冗余表征，以提升显著性预测性能。

提出的方法

• 引入纯视觉变换器编码器，通过线性投影处理图像块，并在第一层即应用多头自注意力机制，学习全局表征。
• 采用全局自注意力机制，使每一层能够关注前一层的完整特征图，即使在浅层也能实现长距离依赖建模。
• 提出一种深度变换解码器，将所有变换器层的特征进行密集连接，跨尺度保留丰富的全局-局部表征。
• 采用渐进式上采样策略（8×、4×、2×），对不同阶段的特征进行上采样，以最小化解码过程中的噪声注入。
• 在解码器各阶段之间应用密集跳跃连接，确保每一层变换器均以独特方式贡献于最终预测。
• 引入可学习的密度设置，以控制解码器中的连接数量，优化特征融合效率。

实验结果

研究问题

• RQ1 视觉变换器能否在每一层中有效统一全局与局部表征，从而减少对深层卷积层堆叠的依赖？
• RQ2 浅层变换器中的自注意力机制如何在捕捉全局上下文的同时保留局部细节？
• RQ3 与标准跳跃连接相比，多尺度变换器特征的密集解码在多大程度上提升了显著图的准确性？
• RQ4 解码过程中采用渐进式上采样是否能减少噪声注入，并增强显著图的边界定位能力？
• RQ5 纯变换器编码器是否能在显著目标检测基准上超越基于 CNN 的编码器？

主要发现

• GLSTR 在五个基准数据集上相较最先进方法实现了平均 12.17% 的平均绝对误差（MAE）提升。
• 该方法优于 SOTA 模型如 GateNet 和 BASNet，在 DUT-OMRON 上 MAE 达 0.029，在 DUTS-TE 上为 0.033，显著低于以往方法。
• 所提出的渐进式上采样策略优于简单的 16× 上采样和 4×+4× 策略，尤其在高密度解码设置下表现更优。
• 具有四种连接密度的密集解码器表现出一致的性能提升，其中最高密度（4）取得最佳结果。
• GLSTR 的推理速度（在 RTX 2080Ti 上为 15 FPS）与其它 SOTA 方法相当，证明了其在计算成本较高的变换器架构下的实际可行性。
• 视觉注意力图显示，即使第一层变换器也能捕捉全局上下文（如完整物体结构），而深层网络则保留了局部细节。