[论文解读] Your Classifier can Secretly Suffice Multi-Source Domain Adaptation

Naveen Venkat, Jogendra Nath Kundu+3 more|ePrints@IISc (Indian Institute of Science)|Mar 20, 2021

Domain Adaptation and Few-Shot Learning被引用 21

一句话总结

该论文提出自监督隐式对齐（SImpAl），一种用于多源域自适应（MSDA）的简单而有效的方法，通过利用伪标签目标样本上分类器的一致性，隐式对齐跨域特征，而无需辅助损失。该方法通过将分类器一致性用作训练信号和收敛指示器，在五个基准测试中实现了最先进性能，即使在类别分布偏移下也表现出鲁棒性。

ABSTRACT

Multi-Source Domain Adaptation (MSDA) deals with the transfer of task knowledge from multiple labeled source domains to an unlabeled target domain, under a domain-shift. Existing methods aim to minimize this domain-shift using auxiliary distribution alignment objectives. In this work, we present a different perspective to MSDA wherein deep models are observed to implicitly align the domains under label supervision. Thus, we aim to utilize implicit alignment without additional training objectives to perform adaptation. To this end, we use pseudo-labeled target samples and enforce a classifier agreement on the pseudo-labels, a process called Self-supervised Implicit Alignment (SImpAl). We find that SImpAl readily works even under category-shift among the source domains. Further, we propose classifier agreement as a cue to determine the training convergence, resulting in a simple training algorithm. We provide a thorough evaluation of our approach on five benchmarks, along with detailed insights into each component of our approach.

研究动机与目标

• 解决多源域自适应（MSDA）中领域偏移问题，且不依赖显式特征对齐损失。
• 探究在标签监督下，深层分类器是否在存在领域偏移和类别分布偏移的情况下，仍能自然诱导隐式领域对齐。
• 基于分类器一致性，提出一种训练收敛准则，以提升优化效率。
• 证明通过分类器一致性实现的隐式对齐可优于需要对抗训练或复杂对齐组件的方法。

提出的方法

• 该方法使用共享特征提取器和源域特定分类器，在有标签的源域数据和伪标签化的目标样本上进行训练。
• 通过最小化同一输入在多个分类器之间的不一致损失，在源域和目标域样本上强制实现分类器一致性。
• 伪标签由模型对无标签目标数据的自身预测生成，构成隐式对齐的基础。
• 利用平均分类器置信度间隔 $ w(\mathbf{x}_t, f, h) $ 构建置信度加权课程，按从易到难的顺序对目标样本排序，实现渐进式训练。
• 使用目标域分类器一致率 $ A(\mathcal{D}_t, f, h) $ 作为收敛指示器，一致率上升表明训练趋于稳定。
• 不使用额外组件（如领域判别器或细粒度对齐模块），仅依赖标签监督和分类器一致性。

实验结果

研究问题

• RQ1 在标签监督下，深层模型是否能在无显式领域对齐目标的情况下，自然产生隐式特征对齐？
• RQ2 在伪标签化的目标样本上，分类器一致性在对齐多个源域和目标域的潜在特征方面有多有效？
• RQ3 分类器一致性能否作为MSDA中训练收敛的可靠信号？
• RQ4 在类别分布偏移下，即源域类别分布不同时，该方法是否仍具泛化能力？
• RQ5 一种简单、自监督的方法能否优于需要对抗训练或辅助损失的复杂方法？

主要发现

• SImpAl在五个标准MSDA基准测试中达到最先进性能，优于现有方法，且无需对抗训练或辅助对齐损失。
• 该方法在类别分布偏移下表现出鲁棒性，成功对齐源域间的共享类别，且无需细粒度对齐组件。
• 训练过程中，目标样本的分类器一致性逐渐提高，一致率可作为可靠的收敛指示器。
• 在分类器一致性区域，具有正确伪标签的目标样本比例显著提升，表明自监督有效。
• 置信度加权课程 $ w(\mathbf{x}_t, f, h) $ 展现出从易到难的进展趋势，高置信度预测在伪标签上具有更高精度。
• 实证分析表明，使用置信度阈值可提升性能，但引入超参数敏感性，因此为简化和提升泛化性，主实验中省略了该设置。