[论文解读] Source-free Domain Adaptation via Avatar Prototype Generation and Adaptation

Zhen Qiu, Yifan Zhang+5 more|arXiv (Cornell University)|Jun 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 45被引用 15

一句话总结

本文提出了一种新颖的方法——对比原型生成与适配（CPGA），用于无源域自适应（source-free unsupervised domain adaptation），该方法利用对比学习从预训练的源模型中生成类别特定的化身原型（avatar prototypes），并将伪标签化的目标特征对齐至这些原型。该方法在无需访问源数据的情况下，在基准数据集上实现了最先进性能，展现出对标签噪声和域偏移的鲁棒性。

ABSTRACT

We study a practical domain adaptation task, called source-free unsupervised domain adaptation (UDA) problem, in which we cannot access source domain data due to data privacy issues but only a pre-trained source model and unlabeled target data are available. This task, however, is very difficult due to one key challenge: the lack of source data and target domain labels makes model adaptation very challenging. To address this, we propose to mine the hidden knowledge in the source model and exploit it to generate source avatar prototypes (i.e., representative features for each source class) as well as target pseudo labels for domain alignment. To this end, we propose a Contrastive Prototype Generation and Adaptation (CPGA) method. Specifically, CPGA consists of two stages: (1) prototype generation: by exploring the classification boundary information of the source model, we train a prototype generator to generate avatar prototypes via contrastive learning. (2) prototype adaptation: based on the generated source prototypes and target pseudo labels, we develop a new robust contrastive prototype adaptation strategy to align each pseudo-labeled target data to the corresponding source prototypes. Extensive experiments on three UDA benchmark datasets demonstrate the effectiveness and superiority of the proposed method.

研究动机与目标

• 解决因隐私限制而无法访问源数据时，无监督域自适应所面临的挑战。
• 通过利用预训练源模型中的隐式知识，克服无源域自适应中域偏移和缺乏目标标签的难题。
• 开发一种方法，生成具有代表性的、类别特定的特征原型（化身原型），以在无源数据的情况下指导域对齐。
• 设计一种鲁棒的适配策略，将伪标签化的目标样本对齐至源原型，同时减轻噪声伪标签的影响。
• 通过置信度重加权、早期学习正则化以及特征聚类，提升模型泛化能力与域对齐效果。

提出的方法

• 利用源模型分类边界上的对比学习训练原型生成器，以生成类内紧凑、类间分离的化身原型。
• 在第一阶段使用预训练的源模型为目标数据中的未标注样本生成伪标签。
• 应用对比原型适配损失，将每个伪标签化的目标样本与其对应的源原型对齐，并引入置信度加权以降低噪声影响。
• 引入置信度重加权机制，在训练过程中降低低置信度伪标签的影响。
• 应用早期学习正则化以稳定训练过程并提升收敛性。
• 通过特征聚类增强特征紧凑性，使目标特征更具判别性与域不变性。

实验结果

研究问题

• RQ1 我们能否在不访问源数据的情况下，有效生成具有代表性的源特征原型？
• RQ2 如何在对噪声伪标签具有鲁棒性的前提下，将伪标签化的目标样本对齐至源原型？
• RQ3 在生成的原型上应用对比学习，是否能提升无源域自适应中的域对齐效果与模型泛化能力？
• RQ4 在无源数据条件下，置信度重加权与早期学习正则化对性能有何影响？
• RQ5 所提出的方法是否能在标准无监督域自适应基准上实现最先进性能，且无需源数据？

主要发现

• 所提出的CPGA方法在VisDA基准上实现了86.0%的类别准确率，优于现有无源域自适应方法。
• 消融实验证明，原型上的对比损失提升了类间分离度与类内紧凑性，准确率从85.0%提升至86.0%。
• 置信度重加权、早期学习正则化与特征聚类的结合使性能提升至86.0%，表明其在噪声抑制方面的有效性。
• 超参数分析显示，该方法具有鲁棒性，VisDA上的最优参数设置为λ=5和η=0.05，且在不同参数值下性能保持稳定。
• 可视化结果证实，生成的原型具有良好的分离性与紧凑性，支持其在域对齐中的实用性。
• 在VisDA、Office-Home和DomainNet上的大量实验验证了CPGA在性能上优于现有无源域自适应方法。