[论文解读] Partial Transfer Learning with Selective Adversarial Networks

Zhangjie Cao, Mingsheng Long+2 more|arXiv (Cornell University)|Jul 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 28被引用 63

一句话总结

SAN 通过仅在共享标签空间对齐分布并过滤掉异常源类别来选择性转移知识，在部分转移任务中达到最先进的结果。

ABSTRACT

Adversarial learning has been successfully embedded into deep networks to learn transferable features, which reduce distribution discrepancy between the source and target domains. Existing domain adversarial networks assume fully shared label space across domains. In the presence of big data, there is strong motivation of transferring both classification and representation models from existing big domains to unknown small domains. This paper introduces partial transfer learning, which relaxes the shared label space assumption to that the target label space is only a subspace of the source label space. Previous methods typically match the whole source domain to the target domain, which are prone to negative transfer for the partial transfer problem. We present Selective Adversarial Network (SAN), which simultaneously circumvents negative transfer by selecting out the outlier source classes and promotes positive transfer by maximally matching the data distributions in the shared label space. Experiments demonstrate that our models exceed state-of-the-art results for partial transfer learning tasks on several benchmark datasets.

研究动机与目标

• 在目标标签是源标签子集的情形下，激励部分转移学习。
• 开发一个深度框架，避免来自异常源类别的负迁移。
• 通过在共享标签空间中进行分布匹配来促进正向迁移。
• 实现带有熵最小化组件的端到端训练。
• 在基准域自适应数据集上展示最先进的性能。

提出的方法

• 引入 SAN，通过使用按类别的域判别器来处理 C_t ⊂ C_s，扩展域对抗网络。
• 基于 G_y(x) 对 |C_s| 个域判别器计算带概率权重的损失，以将目标实例分配给相关的判别器。
• 引入等级别的权重，将对应于异常源类别 C_s \ C_t 的判别器的权重降低。
• 对目标未标记数据应用熵最小化，以使 G_y 预测更尖锐并改善转移的 Y_hat。
• 提供一个端到端训练目标，结合有监督源损失、目标的熵损失和选择性对抗损失（方程式 6 和 7）。
• 在 Office-31、Caltech-Office 和 ImageNet-Caltech 上有六个转移任务的基线比较及消融实验 SAN-selective 和 SAN-entropy。

实验结果

研究问题

• RQ1 当目标标签空间是源标签空间的子集时，是否可以实现部分转移学习？
• RQ2 选择性对抗自适应是否在共享空间促进正向迁移的同时减少来自异常源类别的负迁移？
• RQ3 熵最小化是否有助于改进标签预测器，从而提升选择性转移？
• RQ4 在部分转移任务中，SAN 相对于标准的对抗/域自适应方法表现如何？

主要发现

• SAN 在所有六个 Office-31 转移任务上都超越了最先进的方法。
• SAN 在源空间小或目标空间小的任务上，以及在大源—小目标设置上也取得了显著增益。
• 消融实验表明 SAN-selective 不及 SAN 和 SAN-entropy，证实了选择性对抗匹配和熵最小化的共同收益。
• 熵最小化提升性能，尤其是在类别数量差异较大时（例如 1000→84）。
• t-SNE 可视化显示在 SAN 下，目标数据与相关源类别的分离更清晰且对齐正确。
• 总体而言，SAN 展现出稳定收敛性，并相对于 RevGrad 和 DAN/RTN 基线在处理负迁移方面更优。