[论文解读] Transferrable Prototypical Networks for Unsupervised Domain Adaptation

Yingwei Pan, Ting Yao+4 more|arXiv (Cornell University)|Apr 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用 50

一句话总结

该论文提出可迁移原型网络（Transferrable Prototypical Networks，TPN），使源域和目标域之间的类别原型对齐并同步分数分布，在多域移位下取得了最先进的结果，包括 MNIST/USPS/SVHN 和 VisDA 2017。

ABSTRACT

In this paper, we introduce a new idea for unsupervised domain adaptation via a remold of Prototypical Networks, which learn an embedding space and perform classification via a remold of the distances to the prototype of each class. Specifically, we present Transferrable Prototypical Networks (TPN) for adaptation such that the prototypes for each class in source and target domains are close in the embedding space and the score distributions predicted by prototypes separately on source and target data are similar. Technically, TPN initially matches each target example to the nearest prototype in the source domain and assigns an example a "pseudo" label. The prototype of each class could then be computed on source-only, target-only and source-target data, respectively. The optimization of TPN is end-to-end trained by jointly minimizing the distance across the prototypes on three types of data and KL-divergence of score distributions output by each pair of the prototypes. Extensive experiments are conducted on the transfers across MNIST, USPS and SVHN datasets, and superior results are reported when comparing to state-of-the-art approaches. More remarkably, we obtain an accuracy of 80.4% of single model on VisDA 2017 dataset.

研究动机与目标

• 通过在一个可迁移的嵌入空间中利用原型网络来推动无监督域自适应。
• 引入类别级和样本级域差异缩减以对齐源表示和目标表示。
• 实现端到端训练，使用带标签的源数据和带伪标签的目标数据。
• 在数字数据集和从合成到真实的迁移任务上展示出强大的实证性能。

提出的方法

• 使用原型网络框架将输入嵌入到共享空间。
• 分别在仅源数据、仅目标数据（伪标签）以及源-目标数据上计算类别原型。
• 在RKHS中最小化一个类别级差异损失，使跨域原型对齐。
• 使用不同域专用分类器的每个样本分数分布之间的对称KL散度来最小化样本级差异损失。
• 端到端训练，结合有监督的源分类损失以及通用自适应项和任务特定自适应项；交替更新源原型和目标/组合原型；对具有置信度检查的目标样本使用伪标签。
• 通过将目标投射到嵌入空间并通过与存储的原型的距离进行分类来进行推断/测试。

实验结果

研究问题

• RQ1 是否可以在共享嵌入空间中对来自不同域的原型进行对齐，以在类别层面降低域移位？
• RQ2 在没有带标签的目标数据的情况下，目标样本是否可以被有效伪标签以创建目标域原型？
• RQ3 是否强制跨域专用分类器的分数分布相似性能够在原型对齐之外提升目标域准确性？
• RQ4 将通用性（类别层面）和任务特定（样本层面）自适应结合对无监督域自适应性能有何影响？

主要发现

• TPN 在数字转移中达到 92.1%（M→U）和 94.1%（U→M）的准确度，优于多种最先进的方法。
• TPN 在 S→M 转移上达到 93.0% 的准确率，超过包括 ADDA、JAN 和 MCD 在内的竞争对手。
• 在 VisDA 2017 的合成到真实转移中，TPN 使用单模型达到 80.4% 的准确率。
• 变体消融实验表明，通用自适应（TPN gen）和任务特定自适应（TPN task）都起作用，TPN 通常优于仅源训练和许多基线。
• 该方法对伪标签噪声具有鲁棒性，并通过迭代自标签提升目标域性能。