[论文解读] Transformer Transforms Salient Object Detection and Camouflaged Object Detection

Yuxin Mao, Jing Zhang+7 more|arXiv (Cornell University)|Apr 20, 2021

Visual Attention and Saliency Detection参考文献 109被引用 45

一句话总结

本文提出了一种基于统一Transformer的框架，用于显著性物体检测（SOD）和伪装物体检测（COD），通过采用密集的Transformer主干网络来建模长距离依赖关系并提升结构学习能力。通过引入深度监督和难度感知学习，该方法增强了特征的一致性并实现了有效的难负样本挖掘，在多个SOD和COD基准上取得了新的 SOTA 性能。

ABSTRACT

The transformer networks are particularly good at modeling long-range dependencies within a long sequence. In this paper, we conduct research on applying the transformer networks for salient object detection (SOD). We adopt the dense transformer backbone for fully supervised RGB image based SOD, RGB-D image pair based SOD, and weakly supervised SOD within a unified framework based on the observation that the transformer backbone can provide accurate structure modeling, which makes it powerful in learning from weak labels with less structure information. Further, we find that the vision transformer architectures do not offer direct spatial supervision, instead encoding position as a feature. Therefore, we investigate the contributions of two strategies to provide stronger spatial supervision through the transformer layers within our unified framework, namely deep supervision and difficulty-aware learning. We find that deep supervision can get gradients back into the higher level features, thus leads to uniform activation within the same semantic object. Difficulty-aware learning on the other hand is capable of identifying the hard pixels for effective hard negative mining. We also visualize features of conventional backbone and transformer backbone before and after fine-tuning them for SOD, and find that transformer backbone encodes more accurate object structure information and more distinct semantic information within the lower and higher level features respectively. We also apply our model to camouflaged object detection (COD) and achieve similar observations as the above three SOD tasks. Extensive experimental results on various SOD and COD tasks illustrate that transformer networks can transform SOD and COD, leading to new benchmarks for each related task. The source code and experimental results are available via our project page: this https URL.

研究动机与目标

• 研究视觉Transformer在显著性物体检测（SOD）和伪装物体检测（COD）中的有效性，特别是在低监督设置下的表现。
• 通过引入结构和训练策略的改进，解决视觉Transformer中缺乏显式空间监督的问题。
• 在单一基于Transformer的框架下统一RGB-only、RGB-D和弱监督SOD任务。
• 评估注意力机制和Transformer中特征学习动态在标注数据有限的物体检测任务中的影响。
• 将所提出的框架扩展至伪装物体检测，验证其在具有挑战性的视觉任务中的可迁移性和鲁棒性。

提出的方法

• 采用密集的Transformer主干网络，以捕捉长距离依赖关系，并提升低级和高级特征中的特征表示能力。
• 引入深度监督，将梯度反向传播至高级特征，促进语义物体上激活的一致性。
• 实施难度感知学习，以识别并聚焦于困难像素，实现在训练过程中有效的难负样本挖掘。
• 用视觉Transformer主干网络替代传统的CNN主干网络，评估在完全监督、RGB-D和弱监督设置下SOD和COD任务中的性能提升。
• 在微调前后可视化特征图，比较CNN与Transformer主干网络在结构和语义特征学习上的差异。
• 将统一框架应用于伪装物体检测，证明其在多样化的外观挑战下均能实现一致的性能提升。

实验结果

研究问题

• RQ1 视觉Transformer是否能有效替代CNN在显著性物体检测中实现更优的结构建模和泛化能力？
• RQ2 深度监督和难度感知学习在Transformer-based SOD模型中如何增强特征学习？
• RQ3 视觉Transformer在低级和高级特征中在多大程度上学习到准确的物体结构和清晰的语义表征？
• RQ4 所提出的统一Transformer框架是否能泛化至伪装物体检测这一具有高度视觉模糊性的任务？
• RQ5 该基于Transformer的模型在标准基准上相较于现有SOD和COD方法的性能表现如何？

主要发现

• 与传统CNN相比，Transformer主干网络显著提升了物体结构建模能力，尤其是在低级特征中表现更优。
• 微调后，Transformer主干网络在高级特征中产生了更具区分度的语义表征，从而提升了检测精度。
• 深度监督使同一语义物体上的激活更加均匀，提升了特征的一致性。
• 难度感知学习能有效识别困难像素，实现更优的难负样本挖掘并带来性能增益。
• 统一的Transformer框架在多个SOD和COD基准上取得了新的SOTA结果，涵盖RGB-only、RGB-D和弱监督设置。
• 该模型在伪装物体检测任务中表现出良好的泛化能力，证明其在多样且具有挑战性的视觉条件下均能实现一致的性能提升。