[论文解读] TWINs: Two Weighted Inconsistency-reduced Networks for Partial Domain Adaptation

Toshihiko Matsuura, Kuniaki Saito+1 more|arXiv (Cornell University)|Dec 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 15

一句话总结

TWINs 提出了一种用于部分域自适应（PDA）的新型双分支网络，通过联合估计目标域的标签分布并最小化目标样本上的分类器不一致性，显著提升了分类准确率。通过利用估计的目标类别比例对分类损失进行加权，并减少两个分类器在目标输入上的分歧，TWINs 在多个 PDA 基准上实现了当前最优性能，大幅超越现有方法。

ABSTRACT

The task of unsupervised domain adaptation is proposed to transfer the knowledge of a label-rich domain (source domain) to a label-scarce domain (target domain). Matching feature distributions between different domains is a widely applied method for the aforementioned task. However, the method does not perform well when classes in the two domains are not identical. Specifically, when the classes of the target correspond to a subset of those of the source, target samples can be incorrectly aligned with the classes that exist only in the source. This problem setting is termed as partial domain adaptation (PDA). In this study, we propose a novel method called Two Weighted Inconsistency-reduced Networks (TWINs) for PDA. We utilize two classification networks to estimate the ratio of the target samples in each class with which a classification loss is weighted to adapt the classes present in the target domain. Furthermore, to extract discriminative features for the target, we propose to minimize the divergence between domains measured by the classifiers' inconsistency on target samples. We empirically demonstrate that reducing the inconsistency between two networks is effective for PDA and that our method outperforms other existing methods with a large margin in several datasets.

研究动机与目标

• 解决部分域自适应（PDA）中的挑战，即目标类别是源类别子集，导致使用标准域自适应方法时出现错位。
• 克服边缘特征分布匹配的局限性，该方法可能错误地将目标样本分配给仅存在于源域的类别。
• 通过在自适应过程中引入任务特定的分类器边界，提升目标样本的特征可分性。
• 开发一种有效衡量部分域差异的方法，无需依赖对抗性训练。
• 通过结合标签分布估计与两个分类器之间的不一致性正则化，实现在 PDA 中的卓越性能。

提出的方法

• 训练两个独立的、非共享的分类网络，以估计目标样本的标签分布，从而实现比单个网络更精确的估计。
• 利用估计的目标标签分布对源数据上的分类损失进行加权，使训练更聚焦于目标域中存在的类别。
• 最小化两个分类器在目标样本上的预测不一致性，以促进预测一致并提取更具判别性的特征。
• 基于两个网络在目标输入上的分歧，构建域差异损失，替代对抗性训练以实现部分分布匹配。
• 引入三阶段训练流程：在源数据上进行预训练，结合标签分布加权进行联合自适应，最后实施不一致性正则化。
• 避免对抗性训练，以更好地处理部分域偏移，转而专注于分类器一致性与目标特定标签估计。

实验结果

研究问题

• RQ1 联合估计目标标签分布与分类器不一致性是否能提升部分域自适应中的性能？
• RQ2 最小化目标样本上分类器分歧如何影响特征可分性与分类准确率？
• RQ3 用不一致性正则化替代对抗性训练是否能在 PDA 设置中带来更好的性能？
• RQ4 当目标类别数量较少或在不同任务中变化时，该方法表现如何？
• RQ5 所提出的方法是否能泛化到标准域自适应（即源域与目标域共享所有类别）场景？

主要发现

• TWINs 在多个 PDA 基准上大幅超越现有方法，包括数字数据集（MNIST、USPS、SVHN）和交通标志数据集（GTSRB）。
• 在 SVHN → MNIST（10→5 类）任务中，TWINs 达到 93.1% 的准确率，显著优于次佳方法。
• 消融研究显示，若移除不一致性损失，性能显著下降，尤其在目标类别数量较少时，证实了其重要性。
• 估计的标签分布随训练收敛至真实值：30 个训练周期后，所有目标样本均被正确对齐至目标中包含的源类别。
• 即使在标准域自适应（全类别重叠）场景下，TWINs 也表现出具有竞争力的性能，证明其在 PDA 之外也具备广泛适用性。