[论文解读] Universal Domain Adaptation through Self Supervision

Kuniaki Saito, Donghyun Kim+2 more|arXiv (Cornell University)|Feb 19, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 163

一句话总结

提出 DANCE，一种通用领域自适应框架，利用自监督的邻域聚类和基于熵的分离来处理任意类别分布的偏移，无需事先的偏移知识，在 CDA、PDA、ODA 和 OPDA 设置下比基线表现更好。

ABSTRACT

Unsupervised domain adaptation methods traditionally assume that all source categories are present in the target domain. In practice, little may be known about the category overlap between the two domains. While some methods address target settings with either partial or open-set categories, they assume that the particular setting is known a priori. We propose a more universally applicable domain adaptation framework that can handle arbitrary category shift, called Domain Adaptative Neighborhood Clustering via Entropy optimization (DANCE). DANCE combines two novel ideas: First, as we cannot fully rely on source categories to learn features discriminative for the target, we propose a novel neighborhood clustering technique to learn the structure of the target domain in a self-supervised way. Second, we use entropy-based feature alignment and rejection to align target features with the source, or reject them as unknown categories based on their entropy. We show through extensive experiments that DANCE outperforms baselines across open-set, open-partial and partial domain adaptation settings. Implementation is available at https://github.com/VisionLearningGroup/DANCE.

研究动机与目标

• 解决源/目标域自适应中假设已知类别重叠的局限性。
• 开发一个通用的 DA 框架，能够在没有先验偏移知识的情况下处理闭集、开集、部分混合偏移等情形。
• 通过自监督的邻域聚类学习目标域结构，以为已知和未知类别产生具有辨别性的特征。
• 通过基于熵的分离损失实现对目标到源的选择性对齐以及对未知样本的拒绝。
• 通过领域特定的归一化，在提高对未知类别的鲁棒性的同时保留有用的源域特征。

提出的方法

• 引入通过熵优化的领域自适应邻域聚类（DANCE）。
• 使用邻域聚类（NC）通过最小化目标样本与目标邻居以及源原型之间相似度的熵来对目标特征学习进行自监督。
• 应用熵分离（ES）损失，在已知时将目标样本推向源原型；基于相对于阈值 ρ 的熵将其视为未知并推离。
• 引入领域特定的批量归一化，以帮助弱域对齐。
• 使用具 L2 归一化特征的原型基分类器以及用于目标特征与原型的记忆库。
• 优化最终目标 L = L_cls + λ (L_nc + L_es)。

实验结果

研究问题

• RQ1 一个通用的域自适应方法是否可以在无先验偏移知识的情况下处理 CDA、PDA、ODA 和 OPDA？
• RQ2 对目标域结构的自监督学习是否在提升未知类别的判别性的同时实现已知类别的正确对齐？
• RQ3 在不同数据集上，基于熵的分离在区分已知目标样本与未知目标样本方面有多有效？
• RQ4 领域特定的批量归一化对通用 DA 下的对齐有何影响？
• RQ5 在各种类别偏移设置下，提出的 NC 与 ES 损失相对于专门的 DA 基线有何表现？

主要发现

• DANCE 在所有通用 DA 设置下都优于仅源域的基线。
• DANCE 在开放集和开放-部分 DA 设置上实现了最先进的性能，在某些部分 DA 设置上也有竞争力的结果。
• 特征可视化显示目标空间中已知目标簇分明、未知样本彼此分离。
• NC 与 ES 损失共同增强未知样本的聚类，并在固定超参数下提升已知类别的判别力。
• DANCE 在没有目标监督的情况下保持未知类别的判别特征，并在未知数或源私有类别数量变化时表现出鲁棒性。