[论文解读] Transfer Learning with Dynamic Adversarial Adaptation Network

Chaohui Yu, Jindong Wang+2 more|arXiv (Cornell University)|Sep 18, 2019

Domain Adaptation and Few-Shot Learning参考文献 44被引用 31

一句话总结

本文提出动态对抗自适应网络（DAAN），一种新颖的域自适应方法，可在对抗训练过程中动态且定量地评估全局（边缘）与局部（条件）域分布的相对重要性。通过引入可学习的动态对抗因子，DAAN 在 Office-Home 等标准基准上实现了最先进性能，准确率达到 61.8%，优于 DANN 和 JAN 等方法。

ABSTRACT

The recent advances in deep transfer learning reveal that adversarial learning can be embedded into deep networks to learn more transferable features to reduce the distribution discrepancy between two domains. Existing adversarial domain adaptation methods either learn a single domain discriminator to align the global source and target distributions or pay attention to align subdomains based on multiple discriminators. However, in real applications, the marginal (global) and conditional (local) distributions between domains are often contributing differently to the adaptation. There is currently no method to dynamically and quantitatively evaluate the relative importance of these two distributions for adversarial learning. In this paper, we propose a novel Dynamic Adversarial Adaptation Network (DAAN) to dynamically learn domain-invariant representations while quantitatively evaluate the relative importance of global and local domain distributions. To the best of our knowledge, DAAN is the first attempt to perform dynamic adversarial distribution adaptation for deep adversarial learning. DAAN is extremely easy to implement and train in real applications. We theoretically analyze the effectiveness of DAAN, and it can also be explained in an attention strategy. Extensive experiments demonstrate that DAAN achieves better classification accuracy compared to state-of-the-art deep and adversarial methods. Results also imply the necessity and effectiveness of the dynamic distribution adaptation in adversarial transfer learning.

研究动机与目标

• 解决现有对抗域自适应方法在处理边缘分布与条件分布时采用固定或静态重要性的局限性。
• 开发一种方法，可在对抗训练过程中动态且定量地评估全局与局部域差异的相对贡献。
• 实现端到端的域不变特征学习，提升在真实世界域自适应场景中的泛化能力与鲁棒性。
• 提供计算效率高且易于实现的框架，兼容标准深度学习库。

提出的方法

• 引入一个动态对抗因子 ω，以在对抗训练过程中自适应地平衡边缘分布与条件分布的贡献。
• 将对抗损失公式化为全局与局部分布的域判别器损失的加权组合，其中 ω 通过反向传播端到端学习。
• 使用随机梯度下降（SGD）在单一训练流程中联合优化特征提取器、分类器与动态因子 ω。
• 将动态因子实现为可微分的可学习参数，根据源域与目标域之间的相对分歧程度进行调整。
• 该方法兼容标准深度学习框架，除标准对抗训练外无需额外超参数。
• 动态因子 ω 在训练过程中持续更新，以反映当前全局与局部分布对齐的重要性，实现自适应域自适应。

实验结果

研究问题

• RQ1 深度神经网络能否在对抗自适应过程中动态且定量地评估边缘分布与条件分布的相对重要性？
• RQ2 对全局与局部域差异进行动态平衡是否能带来比固定或等权重方法更好的泛化性能与更高的分类准确率？
• RQ3 所提出方法能否在保持计算效率与实现简便性的同时实现最先进性能？
• RQ4 动态对抗因子 ω 是否能有效适应目标域未知的情况，其中全局与局部分布的贡献事先未知？

主要发现

• DAAN 在 Office-Home 数据集上达到 61.8% 的准确率，显著优于 DANN（57.6%）与 JAN（58.3%）。
• 消融实验表明，等权重（JAN，ω=0.5）或固定权重（DANN，ω=0；MADA，ω=1）并非最优，验证了动态自适应的必要性。
• 使用 t-SNE 的特征可视化显示，与 JAN 相比，DAAN 学习到的源域与目标域表示具有更好的对齐性与判别性。
• 动态因子 ω 在 20 个周期内稳定收敛，表明训练过程快速且可靠。
• 与 MEDA 相比，DAAN 收敛更快，且更早达到稳定的 ω 值，表明训练效率更高。
• 理论与实证结果均证实，对分布重要性的动态评估在对抗域自适应中既必要又有效。