[论文解读] Multi-source Distilling Domain Adaptation

Sicheng Zhao, Guangzhi Wang+8 more|arXiv (Cornell University)|Nov 22, 2019

Domain Adaptation and Few-Shot Learning参考文献 54被引用 7

一句话总结

本文提出多源蒸馏域自适应（MDDA），一种新颖的框架，通过对抗性特征对齐、基于目标相似度的有选择性样本蒸馏以及源分类器的自适应加权，利用多个带标签的源域提升域自适应性能。MDDA在Digits-five和Office-31基准上分别超越先前方法3.3%和0.4%，达到最先进性能。

ABSTRACT

Deep neural networks suffer from performance decay when there is domain shift between the labeled source domain and unlabeled target domain, which motivates the research on domain adaptation (DA). Conventional DA methods usually assume that the labeled data is sampled from a single source distribution. However, in practice, labeled data may be collected from multiple sources, while naive application of the single-source DA algorithms may lead to suboptimal solutions. In this paper, we propose a novel multi-source distilling domain adaptation (MDDA) network, which not only considers the different distances among multiple sources and the target, but also investigates the different similarities of the source samples to the target ones. Specifically, the proposed MDDA includes four stages: (1) pre-train the source classifiers separately using the training data from each source; (2) adversarially map the target into the feature space of each source respectively by minimizing the empirical Wasserstein distance between source and target; (3) select the source training samples that are closer to the target to fine-tune the source classifiers; and (4) classify each encoded target feature by corresponding source classifier, and aggregate different predictions using respective domain weight, which corresponds to the discrepancy between each source and target. Extensive experiments are conducted on public DA benchmarks, and the results demonstrate that the proposed MDDA significantly outperforms the state-of-the-art approaches. Our source code is released at: https://github.com/daoyuan98/MDDA.

研究动机与目标

• 解决在真实场景中存在多个分布各异的带标签源域时，单源域自适应方法的局限性。
• 克服因对所有源域同等对待而造成的次优性能，无论其与目标域的域差异如何。
• 通过有选择性地蒸馏与目标域最相似的源样本，提升模型的可迁移性。
• 提出一种自适应加权机制，在预测聚合过程中突出相关源域，抑制无关源域。
• 通过使用带梯度惩罚的Wasserstein距离最小化，缓解对抗性域自适应中的梯度消失问题。

提出的方法

• 在每个带标签的源域上独立预训练源分类器，以保留判别性特征学习能力。
• 通过最小化经验Wasserstein距离，利用域判别器将目标特征对抗性地对齐至每个源域的特征空间。
• 基于对抗性相似度得分，选择与目标分布最接近的源训练样本，用于微调源分类器。
• 利用源自每个源域与目标域之间差异（Wasserstein距离）推导出的领域特定权重，聚合所有源分类器的预测结果。
• 应用梯度惩罚以稳定训练过程，防止对抗性域自适应中的梯度消失。
• 使用Grad-CAM可视化技术，展示自适应后模型对判别性物体区域的关注度提升，验证模型的可解释性与域不变性。

实验结果

研究问题

• RQ1 当源域与目标域在分布上存在显著差异时，如何改进多源域自适应？
• RQ2 基于源样本与目标域相似度的有选择性蒸馏，能否提升分类器的泛化能力？
• RQ3 一种考虑域差异的自适应加权策略，是否能优于均匀加权或启发式加权，带来更优性能？
• RQ4 采用Wasserstein距离与梯度惩罚的对抗性域自适应，能否稳定训练过程并提升收敛性？
• RQ5 所提方法在多域间在多大程度上增强了特征判别性以及对相关物体部位的关注度？

主要发现

• 在Digits-five基准上，MDDA相较于最先进方法DCTN实现了平均3.3%的准确率提升。
• 在Office-31数据集上，MDDA相比最先进方法性能提升0.4%，表明在多种域偏移场景下均具有一致性增益。
• 源蒸馏在与目标域差异较大的源域上带来最高达2.5%的性能增益，例如从'mnist'到'svhn'，证实了有选择性样本选取的有效性。
• 消融实验表明，若移除蒸馏阶段，Digits-five上的平均准确率下降1.3%，Office-31上下降1.2%，验证了其贡献价值。
• Grad-CAM可视化结果表明，MDDA增强了对判别性物体部分（如装订环、笔记本电脑）的关注，即使在视角或背景变化下亦然。
• 所提出的加权策略能有效抑制无关源域的影响——例如当'svhn'为目标域时，相似度较低的源域被显著降低权重，从而提升整体鲁棒性。