[论文解读] Semi-Supervised Hypothesis Transfer for Source-Free Domain Adaptation

Ning Ma, Jiajun Bu+5 more|arXiv (Cornell University)|Jul 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用 5

一句话总结

本文提出了一种无需访问源数据的源域自适应方法，通过将预训练源模型的假设迁移至目标域，实现无源域半监督域自适应。该方法采用迭代熵最小化与不确定性感知的标签传播，增强域间与域内对齐，相较于现有最先进方法，在公开基准上准确率最高提升19.9%。

ABSTRACT

Domain Adaptation has been widely used to deal with the distribution shift in vision, language, multimedia etc. Most domain adaptation methods learn domain-invariant features with data from both domains available. However, such a strategy might be infeasible in practice when source data are unavailable due to data-privacy concerns. To address this issue, we propose a novel adaptation method via hypothesis transfer without accessing source data at adaptation stage. In order to fully use the limited target data, a semi-supervised mutual enhancement method is proposed, in which entropy minimization and augmented label propagation are used iteratively to perform inter-domain and intra-domain alignments. Compared with state-of-the-art methods, the experimental results on three public datasets demonstrate that our method gets up to 19.9% improvements on semi-supervised adaptation tasks.

研究动机与目标

• 解决因隐私限制导致源数据不可用时，视觉与多媒体任务中的域偏移问题。
• 在仅测试时可访问有标签目标数据的无源域设置下，实现有效的半监督域自适应。
• 通过利用冻结分类器的假设与带不确定性估计的迭代自训练，提升源域与目标域之间的对齐。
• 通过熵最小化与增强的标签传播，以最少的有标签目标数据实现性能最大化。

提出的方法

• 通过假设迁移学习将预训练的分类器从源域迁移到目标域，适应过程中保持分类器冻结。
• 对目标特征应用熵最小化，以鼓励置信预测并减少无标签数据的不确定性。
• 基于目标特征构建k近邻图，实施增强的标签传播，优先对低不确定性样本进行伪标签化。
• 使用不确定性估计（如蒙特卡洛Dropout）过滤噪声伪标签，提升迭代优化过程中的鲁棒性。
• 结合多个损失项：有标签数据的交叉熵损失、无标签数据的熵最小化损失、伪标签损失以及域不变对比损失。
• 通过熵最小化与标签传播之间的相互增强，迭代优化预测，提升域间与域内对齐。

实验结果

研究问题

• RQ1 当测试时完全无法访问源数据时，假设迁移是否能实现有效的域自适应？
• RQ2 在无源域半监督设置下，如何有效利用有限的有标签目标数据？
• RQ3 熵最小化与标签传播之间的迭代相互增强是否能超越标准基线，提升域对齐？
• RQ4 哪些超参数（如不确定性阈值、k、λ₀）对性能影响最大，应如何优化？

主要发现

• 所提方法在无源域半监督域自适应基准上，准确率最高较现有最先进方法提升19.9%。
• 在Office-Home数据集上，每类仅3个有标签样本时，模型在使用全部正则化组件下达到55.8%准确率，而仅使用交叉熵损失时为48.1%。
• 消融实验表明，对低不确定性数据进行熵最小化与伪标签化能显著提升性能，而无过滤的多样性损失则导致性能下降。
• 当使用过多低不确定性样本时性能下降，表明伪标签化过程中质量优于数量。
• k近邻图的最优k值大于1，因为k=1会导致图稀疏，影响标签传播效果。
• 该方法在不同数据集上具有良好的泛化能力，在1-shot至3-shot等多种少样本设置下，于Office-Home与DomainNet上均优于基线方法。