[论文解读] UMAD: Universal Model Adaptation under Domain and Category Shift

Jian Liang, Dapeng Hu+2 more|arXiv (Cornell University)|Dec 16, 2021

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

本文提出UMAD，一种在未知领域和类别漂移条件下实现无监督域自适应的通用模型适配框架，仅需源模型而无需源数据。该方法采用双头分类器，利用基于自动阈值化的信息一致性得分实现未知样本拒绝，并通过局部互信息实现领域对齐，在无需源数据的情况下，在开放集和开放部分集UDA场景下均达到最先进性能。

ABSTRACT

Learning to reject unknown samples (not present in the source classes) in the target domain is fairly important for unsupervised domain adaptation (UDA). There exist two typical UDA scenarios, i.e., open-set, and open-partial-set, and the latter assumes that not all source classes appear in the target domain. However, most prior methods are designed for one UDA scenario and always perform badly on the other UDA scenario. Moreover, they also require the labeled source data during adaptation, limiting their usability in data privacy-sensitive applications. To address these issues, this paper proposes a Universal Model ADaptation (UMAD) framework which handles both UDA scenarios without access to the source data nor prior knowledge about the category shift between domains. Specifically, we aim to learn a source model with an elegantly designed two-head classifier and provide it to the target domain. During adaptation, we develop an informative consistency score to help distinguish unknown samples from known samples. To achieve bilateral adaptation in the target domain, we further maximize localized mutual information to align known samples with the source classifier and employ an entropic loss to push unknown samples far away from the source classification boundary, respectively. Experiments on open-set and open-partial-set UDA scenarios demonstrate that UMAD, as a unified approach without access to source data, exhibits comparable, if not superior, performance to state-of-the-art data-dependent methods.

研究动机与目标

• 解决在无源数据且类别漂移（开放集或开放部分集）未知情况下的无监督域自适应挑战。
• 开发一个统一框架，在无需标注源数据的情况下，同时在开放集和开放部分集UDA场景中表现优异。
• 仅使用源模型和无标签目标数据，实现对目标域中未知样本的有效拒绝。
• 通过将已知目标样本与源分类器对齐，同时将未知样本推离决策边界，确保在领域漂移下的鲁棒自适应。

提出的方法

• 在源模型中设计双头分类器，基于特征与logit的一致性，为目标样本生成一致性得分。
• 引入一种信息性一致性得分（iscorE），通过Mixup插值计算，用于衡量不确定性并区分已知与未知样本。
• 利用Mixup增强的目标样本的平均iscorE自动确定拒绝阈值。
• 应用熵损失，将未知样本从源分类边界推离，提升拒绝性能。
• 提出一种带广义多样性项的局部互信息（LMI）目标，用于对齐已知目标样本与源模型。
• 采用两阶段自适应流程：首先通过阈值化拒绝未知样本，然后使用LMI和领域对齐方法对已知样本进行对齐。

实验结果

研究问题

• RQ1 能否设计一种模型适配框架，在无源数据访问条件下，同时在开放集和开放部分集UDA场景中实现优异性能？
• RQ2 当无源数据或类别重叠信息时，如何在目标域中有效检测并拒绝未知样本？
• RQ3 不同不确定性得分对无源数据UDA性能的影响如何？
• RQ4 所提出的局部互信息目标在各种类别漂移下如何提升已知样本的对齐性能？

主要发现

• UMAD在开放集和开放部分集UDA基准上，性能与最先进数据依赖方法相当或更优，即使无源数据访问。
• 所提出的iscorE得分结合自动阈值化显著提升未知样本拒绝性能，优于L2和余弦距离等基线不确定性得分。
• 消融实验表明，熵损失对性能至关重要，其移除会导致HOS分数显著下降，归因于未知样本处理不佳。
• 带广义多样性项的局部互信息（LMI）目标在部分集UDA任务中优于原始互信息及其他基线方法。
• UMAD在未知类别数量变化时保持稳定性能，展现出在开放集UDA设置下的鲁棒性。
• 可视化结果证实，iscorE能有效分离已知与未知样本，且该框架成功扩大了两者之间的边际。