[论文解读] ProxyMix: Proxy-based Mixup Training with Label Refinery for Source-Free Domain Adaptation

Yuhe Ding, Sheng Lijun+3 more|arXiv (Cornell University)|May 29, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

ProxyMix 提出了一种无需访问原始源数据的无源域自适应方法，通过将分类器权重作为类别原型来构建类别平衡的代理源域，并结合频率加权的伪标签精炼机制与混合增强正则化，以提升预测可靠性。该方法在无需访问原始源数据或增加参数的情况下，在 2D 和 3D 基准测试中实现了最先进性能。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer knowledge from a labeled source domain to an unlabeled target domain. Owing to privacy concerns and heavy data transmission, source-free UDA, exploiting the pre-trained source models instead of the raw source data for target learning, has been gaining popularity in recent years. Some works attempt to recover unseen source domains with generative models, however introducing additional network parameters. Other works propose to fine-tune the source model by pseudo labels, while noisy pseudo labels may misguide the decision boundary, leading to unsatisfied results. To tackle these issues, we propose an effective method named Proxy-based Mixup training with label refinery (ProxyMix). First of all, to avoid additional parameters and explore the information in the source model, ProxyMix defines the weights of the classifier as the class prototypes and then constructs a class-balanced proxy source domain by the nearest neighbors of the prototypes to bridge the unseen source domain and the target domain. To improve the reliability of pseudo labels, we further propose the frequency-weighted aggregation strategy to generate soft pseudo labels for unlabeled target data. The proposed strategy exploits the internal structure of target features, pulls target features to their semantic neighbors, and increases the weights of low-frequency classes samples during gradient updating. With the proxy domain and the reliable pseudo labels, we employ two kinds of mixup regularization, i.e., inter- and intra-domain mixup, in our framework, to align the proxy and the target domain, enforcing the consistency of predictions, thereby further mitigating the negative impacts of noisy labels. Experiments on three 2D image and one 3D point cloud object recognition benchmarks demonstrate that ProxyMix yields state-of-the-art performance for source-free UDA tasks.

研究动机与目标

• 解决因隐私和传输限制而无法获取原始源数据时的无源无监督域自适应挑战。
• 克服现有方法依赖生成模型（增加参数）或噪声伪标签（导致决策边界错位）的局限性。
• 开发一种仅利用预训练源模型来构建可靠代理源域并提升伪标签质量的方法。
• 通过结合域间与域内混合增强正则化与优化后的伪标签，提升模型泛化能力，增强域对齐与鲁棒性。

提出的方法

• 将源模型的分类器权重定义为特征空间中的类别原型，以指导代理源域中代表性样本的选择。
• 通过在角度空间中选取每个类别原型的最近邻样本来构建代理源域，确保类别平衡且避免数据生成。
• 引入频率加权聚合策略以优化软伪标签：对预测结果进行锐化，按类别频率重新加权样本，并聚合特征以提升标签可靠性。
• 应用两种混合增强正则化技术——代理域与目标域之间的域间混合增强，以及目标域内部的域内混合增强，以强化预测一致性并降低噪声影响。
• 通过联合优化代理源域分类损失、域间混合损失与域内混合损失来训练模型，以实现特征对齐与泛化能力提升。
• 采用动态标签精炼机制，通过增加低频类别样本的梯度更新权重，提升对伪标签中类别不平衡问题的鲁棒性。

实验结果

研究问题

• RQ1 能否通过在角度空间中选取类别原型最近邻样本来构建代理源域，有效弥合无源域自适应中的域差距，且无需生成合成数据？
• RQ2 在缺乏真实标签的情况下，如何优化未标记目标数据的伪标签以减少噪声并提升可靠性？
• RQ3 伪标签的频率加权聚合在多大程度上能提升模型泛化能力并缓解无源自适应中的类别不平衡问题？
• RQ4 将域间与域内混合增强结合优化后的伪标签，是否能带来优于现有最先进方法的域对齐效果与更高准确率？
• RQ5 所提出方法对超参数（如混合权重、锐化温度与代理域大小）的敏感性如何？

主要发现

• ProxyMix 在三个 2D 图像基准（Office-31、Office-Home、VisDA）和一个 3D 点云基准（ModelNet40）上均实现了最先进性能，优于现有无源域自适应方法。
• 基于原型的代理源域构建方法在平均准确率上优于基于熵引导采样的方法，且在特征分布对齐与类别平衡方面具有明显优势。
• 频率加权聚合策略显著提升了伪标签质量，使 t-SNE 可视化中特征聚类更紧凑、决策边界更清晰。
• 消融实验证明，代理源域损失与混合损失（域间与域内）均至关重要，各项损失在不同数据集上均有显著贡献。
• 该方法展现出高训练稳定性与低超参数敏感性，在 λ=1、η=100、N=20 附近性能保持稳健。
• t-SNE 可视化结果证实，经自适应后，目标域特征与源域特征更加对齐，尤其在使用所提出的标签精炼机制与混合增强正则化时效果更显著。