[论文解读] Transformer-based Network for RGB-D Saliency Detection

Yue Wang, Jia Xu+4 more|arXiv (Cornell University)|Dec 1, 2021

Visual Attention and Saliency Detection参考文献 44被引用 6

一句话总结

本文提出一种基于Transformer的RGB-D显著性检测网络，仅使用Transformer解码器即统一实现了多尺度、多模态特征融合与同模态特征增强。通过利用自注意力与交叉注意力机制，该方法全局捕获长距离依赖关系，在六个基准数据集上实现SOTA性能，且模型架构更为简化与统一。

ABSTRACT

RGB-D saliency detection integrates information from both RGB images and depth maps to improve prediction of salient regions under challenging conditions. The key to RGB-D saliency detection is to fully mine and fuse information at multiple scales across the two modalities. Previous approaches tend to apply the multi-scale and multi-modal fusion separately via local operations, which fails to capture long-range dependencies. Here we propose a transformer-based network to address this issue. Our proposed architecture is composed of two modules: a transformer-based within-modality feature enhancement module (TWFEM) and a transformer-based feature fusion module (TFFM). TFFM conducts a sufficient feature fusion by integrating features from multiple scales and two modalities over all positions simultaneously. TWFEM enhances feature on each scale by selecting and integrating complementary information from other scales within the same modality before TFFM. We show that transformer is a uniform operation which presents great efficacy in both feature fusion and feature enhancement, and simplifies the model design. Extensive experimental results on six benchmark datasets demonstrate that our proposed network performs favorably against state-of-the-art RGB-D saliency detection methods.

研究动机与目标

• 为解决基于CNN的方法在RGB-D显著性检测中因感受野局部性而导致的长距离依赖建模能力不足问题。
• 将特征融合与特征增强统一于单一基于Transformer的框架中，简化模型设计。
• 通过实现多尺度与多模态特征的全局自适应融合，提升复杂场景下的性能表现。
• 证明仅使用统一的Transformer操作即可有效处理特征增强与融合任务，而无需复杂的、任务特定的模块。

提出的方法

• 提出一种基于Transformer的同模态特征增强模块（TWFEM），通过在同模态内利用自注意力机制整合其他尺度的互补信息，对每个尺度的特征进行增强。
• 采用一种基于Transformer的特征融合模块（TFFM），通过交叉注意力机制同时融合多尺度及RGB与深度模态的特征。
• 将TWFEM的输出作为初始融合特征，引导TFFM在每个空间位置生成最终的、自适应的融合特征。
• 在TWFEM与TFFM中均应用多头自注意力与交叉注意力机制，以建模所有位置间的长距离依赖关系。
• 仅使用Transformer解码器设计网络，避免采用U-Net或循环模块等复杂结构，以实现架构简洁性。
• 在TWFEM中设计渐进式增强策略，从粗到细地逐级优化特征，以提升表征质量。

实验结果

研究问题

• RQ1 统一的基于Transformer的架构能否有效替代RGB-D显著性检测中多个专用模块的特征增强与融合？
• RQ2 Transformer中的全局非局部注意力是否显著优于多尺度、多模态显著性检测中局部的渐进式融合？
• RQ3 基于Transformer的渐进式同模态特征增强对融合特征质量与最终显著性预测的影响如何？
• RQ4 仅使用注意力机制的极简架构能否在保持更小模型尺寸的同时实现SOTA性能，相较于现有双流方法？

主要发现

• 所提方法在六个RGB-D显著性检测基准数据集上均达到SOTA性能，超越现有SOTA方法。
• 消融实验表明，TWFEM与TFFM均对性能有显著贡献，其中TFFM贡献最大，因其实现了全局自适应融合。
• TWFEM中的渐进式增强策略相比直接融合相邻尺度的特征，进一步提升了性能。
• 在TFFM中使用T=4个Transformer块可实现性能与效率的最佳平衡，超过此深度后收益递减。
• 模型参数量小于大多数双流方法（除PGAR外），且在使用更复杂主干网络的情况下，仍优于单流方法A2dele与DANet的精度表现。
• 定性结果表明，该方法在复杂场景（如杂乱背景或相似颜色背景）中仍能实现精确的显著性目标定位与准确的边界检测。