[论文解读] Transformer-Based Source-Free Domain Adaptation

Guanglei Yang, Hao Tang+5 more|arXiv (Cornell University)|May 28, 2021

Domain Adaptation and Few-Shot Learning参考文献 70被引用 21

一句话总结

本文提出 TransDA，一种基于 Transformer 的无源域自适应框架，通过鼓励对物体区域的关注来提升模型泛化能力。通过在卷积主干网络中注入 Transformer 模块，并使用伪标签进行自监督知识蒸馏，TransDA 改进了注意力聚焦，实现了在闭集、部分集和开集自适应基准上的最先进性能。

ABSTRACT

In this paper, we study the task of source-free domain adaptation (SFDA), where the source data are not available during target adaptation. Previous works on SFDA mainly focus on aligning the cross-domain distributions. However, they ignore the generalization ability of the pretrained source model, which largely influences the initial target outputs that are vital to the target adaptation stage. To address this, we make the interesting observation that the model accuracy is highly correlated with whether or not attention is focused on the objects in an image. To this end, we propose a generic and effective framework based on Transformer, named TransDA, for learning a generalized model for SFDA. Specifically, we apply the Transformer as the attention module and inject it into a convolutional network. By doing so, the model is encouraged to turn attention towards the object regions, which can effectively improve the model's generalization ability on the target domains. Moreover, a novel self-supervised knowledge distillation approach is proposed to adapt the Transformer with target pseudo-labels, thus further encouraging the network to focus on the object regions. Experiments on three domain adaptation tasks, including closed-set, partial-set, and open-set adaption, demonstrate that TransDA can greatly improve the adaptation accuracy and produce state-of-the-art results. The source code and trained models are available at https://github.com/ygjwd12345/TransDA.

研究动机与目标

• 解决现有无源域自适应（SFDA）方法忽视预训练源模型泛化能力的局限性。
• 探究在 SFDA 中物体区域注意力聚焦与模型准确率之间的相关性。
• 通过增强注意力机制（无需源数据）来提升目标域上的模型泛化能力。
• 提出一种自监督知识蒸馏策略，以优化目标伪标签上的注意力聚焦。
• 在多种 SFDA 场景下（闭集、部分集和开集自适应）验证方法的有效性。

提出的方法

• 在 ResNet-50 主干网络的最后一个卷积层之后注入视觉 Transformer 模块，以建模长距离依赖关系并促进对物体区域的关注。
• 使用 Grad-CAM 可视化方法实证验证：目标域上对物体的关注度与更高预测准确率相关。
• 采用基于目标伪标签的自监督知识蒸馏，进一步优化注意力，其中学生模型从自身的预测中学习。
• 引入使用指数移动平均（EMA）的教师-学生训练策略以稳定知识蒸馏，但消融实验表明主要性能提升来自蒸馏，而非教师模型本身。
• 端到端训练模型，结合交叉熵损失（基于伪标签）和知识蒸馏损失，以对齐特征并改善注意力聚焦。
• 在三种 SFDA 基准上评估方法：Office-31、Office-Home 和 VisDA，在闭集、部分集和开集设置下进行测试。

实验结果

研究问题

• RQ1 在无源域自适应中，对物体区域的注意力聚焦如何影响模型准确率？
• RQ2 在 CNN 主干网络中注入 Transformer 模块是否能提升在未见目标域上的泛化能力？
• RQ3 使用伪标签的自监督知识蒸馏是否能进一步增强注意力聚焦和自适应性能？
• RQ4 在不同域偏移设置下，所提方法与最先进 SFDA 方法相比表现如何？
• RQ5 性能提升是源于更好的注意力聚焦，还是仅由蒸馏机制驱动？

主要发现

• TransDA 在所有三个 SFDA 基准上均达到最先进性能：在 Office-Home（闭集）上准确率达到 79.3%，相较之前最先进方法的 71.8% 显著提升。
• 在 VisDA 数据集上，TransDA 在开集设置下将准确率从 81.9% 提升至 87.6%，展现出强大的泛化能力。
• 消融实验确认，添加 Transformer 模块使 Office-Home 上的准确率从 72.1% 提升至 78.8%，表现出一致的性能增益。
• 自知识蒸馏进一步提升性能，使 Office-Home 上的准确率从 78.8% 提升至 79.3%，证实其有效性。
• Grad-CAM 可视化显示，与基线模型相比，TransDA 显著增强了对物体区域的注意力聚焦。
• t-SNE 可视化结果表明，类内特征更加紧凑，且源域与目标域之间的域差距减小。