[论文解读] On Balancing Bias and Variance in Unsupervised Multi-Source-Free Domain Adaptation

Maohao Shen, Yuheng Bu+1 more|arXiv (Cornell University)|Feb 1, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文通过推导一个信息论一般化误差界，提出了一套新颖的理论框架，用于无监督多源无源域自适应（MSFDA），揭示了内在的偏差-方差权衡。该方法通过域聚合、选择性伪标签生成和联合特征对齐来平衡这一权衡，在Office-Home和DomainNet等具有挑战性的基准上实现了最先进性能，尤其在最困难的Office-Home任务中比SOTA方法提升了2.3%。

ABSTRACT

Due to privacy, storage, and other constraints, there is a growing need for unsupervised domain adaptation techniques in machine learning that do not require access to the data used to train a collection of source models. Existing methods for multi-source-free domain adaptation (MSFDA) typically train a target model using pseudo-labeled data produced by the source models, which focus on improving the pseudo-labeling techniques or proposing new training objectives. Instead, we aim to analyze the fundamental limits of MSFDA. In particular, we develop an information-theoretic bound on the generalization error of the resulting target model, which illustrates an inherent bias-variance trade-off. We then provide insights on how to balance this trade-off from three perspectives, including domain aggregation, selective pseudo-labeling, and joint feature alignment, which leads to the design of novel algorithms. Experiments on multiple datasets validate our theoretical analysis and demonstrate the state-of-art performance of the proposed algorithm, especially on some of the most challenging datasets, including Office-Home and DomainNet.

研究动机与目标

• 通过理论分析，理解多源无源域自适应（MSFDA）的根本极限。
• 识别并解决由标签不匹配、特征错位以及训练样本方差引起的MSFDA中固有的偏差-方差权衡。
• 提供理论洞见，指导无需访问源数据的鲁棒MSFDA算法设计。
• 通过实证验证理论发现，并在Office-Home和DomainNet等基准数据集上展示卓越性能。

提出的方法

• 推导出一个信息论一般化误差界，量化MSFDA中的偏差-方差权衡。
• 提出域聚合方法，通过有效利用多个源模型来减少标签不匹配偏差。
• 引入选择性伪标签生成方法，通过过滤低置信度预测来平衡标签不匹配偏差与方差。
• 采用联合特征对齐方法，通过对齐源域与目标域的特征来最小化域偏移。
• 使用带有伪标签去噪和混合数据增强的代理模型，以减少方差并提升鲁棒性。
• 应用可学习的域加权机制，根据各源模型的可靠性动态分配其重要性。

实验结果

研究问题

• RQ1 无监督多源无源域自适应中的泛化误差根本理论极限是什么？
• RQ2 标签不匹配偏差、特征错位偏差与方差如何共同影响MSFDA中的模型性能？
• RQ3 对偏差-方差权衡的理论洞见能否指导更高效MSFDA算法的设计？
• RQ4 在无源数据的情况下，选择性伪标签生成如何改善偏差与方差之间的平衡？
• RQ5 当无法获取源数据时，联合特征对齐在缓解域偏移中起到什么作用？

主要发现

• 所提方法在最具挑战性的Office-Home任务（A, R, P → C）中，比SOTA方法实现了2.3%的准确率提升，展现出更强的鲁棒性。
• 在DomainNet上，该方法在选择性真值设置下实现了58.1%的平均准确率，显著优于所有基线方法。
• 消融研究证实，每个组件——域加权、伪标签去噪、有标签数据上的IM损失、联合对齐和混合增强——均有助于降低偏差与方差。
• 理论界成功捕捉了标签不匹配偏差与方差之间的权衡，且在多个数据集上的实证结果验证了该理论。
• 即使在源模型集成表现较差的情况下（如M-MNIST基准），该方法仍保持强劲性能，相比SOTA提升了3.7%。
• 选择性伪标签生成与域加权的结合，经Digit-Five和Office-31上的消融研究证实，能显著降低偏差与方差。