[论文解读] TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network

Zhengyi Liu, Yuan Wang+3 more|arXiv (Cornell University)|Aug 9, 2021

Visual Attention and Saliency Detection参考文献 89被引用 18

一句话总结

TriTransNet 提出了一种新颖的三重变压器嵌入模块（TTEM），通过利用三个共享权重的变压器编码器来建模高层特征中的长距离依赖关系，从而在RGB-D显著目标检测网络中增强多级特征。该方法通过集成三流解码器、尺度调节机制以及深度净化模块，实现了有效的多模态融合，在基准数据集上取得了最先进（SOTA）的性能表现。

ABSTRACT

Salient object detection is the pixel-level dense prediction task which can highlight the prominent object in the scene. Recently U-Net framework is widely used, and continuous convolution and pooling operations generate multi-level features which are complementary with each other. In view of the more contribution of high-level features for the performance, we propose a triplet transformer embedding module to enhance them by learning long-range dependencies across layers. It is the first to use three transformer encoders with shared weights to enhance multi-level features. By further designing scale adjustment module to process the input, devising three-stream decoder to process the output and attaching depth features to color features for the multi-modal fusion, the proposed triplet transformer embedding network (TriTransNet) achieves the state-of-the-art performance in RGB-D salient object detection, and pushes the performance to a new level. Experimental results demonstrate the effectiveness of the proposed modules and the competition of TriTransNet.

研究动机与目标

• 通过自注意力机制增强高层特征，提升基于RGB-D图像的显著目标检测性能。
• 解决现有U-Net框架在捕捉跨特征层级长距离依赖关系方面的局限性。
• 通过设计一种深度净化模块，有效整合深度信息，降低低质量深度图中的噪声影响。
• 通过三流解码器高效融合多级特征，实现卓越的性能表现。
• 证明共享权重的三重变压器在实现最小计算开销的前提下，显著增强特征表示能力。

提出的方法

• 提出一种三重变压器嵌入模块（TTEM），由三个具有共享权重的标准变压器编码器组成，用于建模高层特征中的长距离依赖关系。
• TTEM 在通过过渡层和渐进式上采样融合将多级特征调整至相同空间分辨率后进行处理。
• 引入尺度调节模块，对输入特征进行归一化，以提升训练稳定性并保持各层级特征的一致性。
• 设计三流解码器，将TTEM增强后的高层特征与低层特征融合，实现高效的多尺度特征整合。
• 引入深度净化模块（DPM），在将深度特征与RGB特征融合前对其进行优化，降低噪声并提升模态对齐效果。
• 通过在编码器多个阶段对优化后的深度特征与RGB特征进行拼接或逐元素相加，实现多模态融合。

实验结果

研究问题

• RQ1 共享权重的三重变压器能否有效增强基于U-Net的显著目标检测框架中的高层特征？
• RQ2 在多级特征中建模长距离依赖关系如何提升检测性能？
• RQ3 深度净化对RGB-D显著目标检测的影响如何，尤其是在深度图噪声较大的情况下？
• RQ4 与单流解码器相比，三流解码器在融合多级特征方面表现如何？
• RQ5 所提出的模块能否在计算开销极小的前提下，无缝集成到现有U-Net架构中并实现SOTA性能？

主要发现

• TriTransNet 在四个主要的RGB-D显著性基准数据集（NLPR、NJUD2K、SIP 和 STERE）上实现了最先进（SOTA）性能，其中在NLPR数据集上的S-measure达到0.928，在STERE数据集上达到0.927。
• 消融实验表明，三流解码器显著提升性能，在NLPR数据集上相比单流解码器的S-measure提升0.005，在STERE数据集上提升0.004。
• 深度净化模块（DPM）在性能上优于基线的逐元素相加方法以及BBS中的DEM模块，在NLPR数据集上相比基线实现0.005更高的S-measure。
• 采用共享权重的三重变压器嵌入模块（TTEM）相比未使用TTEM的模型，在NLPR数据集上的Fβ-score提升0.005，证明其在特征增强方面的有效性。
• 模型在NLPR数据集上的平均绝对误差（MAE）为0.020，在STERE数据集上为0.033，表明其在像素级预测中具有高精度。
• 与基线相比，该方法在NLPR数据集上的MAE降低了0.003，证实了其在定位精度上的改进。