[论文解读] Open Set Domain Adaptation By Novel Class Discovery

Jingyu Zhuang, Ziliang Chen+3 more|arXiv (Cornell University)|Mar 7, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

本文提出自监督类别发现适配器（SCDA），一种用于开放集域自适应（OSDA）的新方法，该方法在目标数据中发现隐式新类别，而非将它们视为单一的'未知'类别。SCDA交替执行隐式类别发现与域自适应特征学习，实现了OSDA基准上的最先进性能，并能高度准确地估计新类别数量。

ABSTRACT

In Open Set Domain Adaptation (OSDA), large amounts of target samples are drawn from the implicit categories that never appear in the source domain. Due to the lack of their specific belonging, existing methods indiscriminately regard them as a single class unknown. We challenge this broadly-adopted practice that may arouse unexpected detrimental effects because the decision boundaries between the implicit categories have been fully ignored. Instead, we propose Self-supervised Class-Discovering Adapter (SCDA) that attempts to achieve OSDA by gradually discovering those implicit classes, then incorporating them to restructure the classifier and update the domain-adaptive features iteratively. SCDA performs two alternate steps to achieve implicit class discovery and self-supervised OSDA, respectively. By jointly optimizing for two tasks, SCDA achieves the state-of-the-art in OSDA and shows a competitive performance to unearth the implicit target classes.

研究动机与目标

• 挑战OSDA中将所有分布外目标样本视为单一'未知'类别的常见做法。
• 解决忽略隐式目标类别间类别结构所带来的负面影响，该影响在聚类假设下会导致特征混淆。
• 开发一种自监督框架，以发现无标签目标数据中隐式类别的数量与分布。
• 通过迭代重构分类器并基于发现的隐式类别更新特征，从而提升OSDA性能。
• 证明发现未知目标样本的内部结构可带来更好的泛化能力，并减少决策边界附近的性能退化。

提出的方法

• 应用对抗性预训练，初步将未知目标样本与已知类别分离。
• 设计一种无监督算法用于隐式类别发现，以估计新类别的数量并相应聚类未知样本。
• 重构分类器，将发现的隐式类别视为独立类别，而非单一的'未知'类别。
• 在隐式类别发现与模型微调之间交替进行，以迭代方式提升特征解耦与分类准确率。
• 利用来自发现类别的自监督伪标签来更新模型，而无需真实标签。
• 通过迭代优化提升类别发现准确率与域自适应性能。

实验结果

研究问题

• RQ1 与将未知目标样本视为单一'未知'类别相比，发现其内部结构是否能提升OSDA性能？
• RQ2 自监督方法在目标领域中估计隐式新类别数量的准确性如何？
• RQ3 对发现类别的迭代优化是否能带来更好的特征解耦与分类性能？
• RQ4 在真实世界中存在噪声与类别不平衡的目标域设置下，SCDA表现如何？
• RQ5 准确的类别数量估计与迭代模型优化在实现最先进OSDA性能中的相对贡献分别是什么？

主要发现

• SCDA在三个OSDA基准上实现最先进性能，在OfficeHome到DomainNet的迁移任务中平均OS准确率达到55.3%，优于先前最先进方法如SHOT（54.3%）和STA（48.2%）。
• 在Office-31数据集上，SCDA对未知类别数量的估计平均误差仅为0.9，显著优于DTC（6.1）和SC（4.2）。
• 在包含297个真实未知类别的高复杂度DomainNet⋆基准中，SCDA对类别数量的估计平均误差为58.5，展现出在高复杂度场景下的鲁棒性。
• 消融实验表明，发现隐式类别可提升性能，而基于估计类别数量的迭代优化可达到接近使用真实类别数量时的性能。
• 在真实世界噪声与类别不平衡场景（如OfficeHome到DomainNet⋆的迁移）中，SCDA表现出更快的收敛速度与更高的上限性能。
• 可视化与分析证实，SCDA通过保留未知类别间的类别结构，显著减少了已知类别与未知类别之间的特征混淆，尤其是在决策边界附近。