[论文解读] Prior Knowledge Guided Unsupervised Domain Adaptation

Tao Sun, Cheng Lu+1 more|arXiv (Cornell University)|Jul 18, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

该论文提出了一种新型框架——知识引导的无监督域自适应（KUDA），通过引入目标域类别分布的先验知识，提升了在领域偏移场景下的模型泛化能力。该框架引入了一个校正模块，利用一元边界和二元关系作为约束，通过带平滑正则化的零一规划（Zero-One Programming）公式对伪标签进行优化，显著提升了如 SHOT 和 DINE 等基于自训练的无监督域自适应方法在多个基准测试中的性能。

ABSTRACT

The waive of labels in the target domain makes Unsupervised Domain Adaptation (UDA) an attractive technique in many real-world applications, though it also brings great challenges as model adaptation becomes harder without labeled target data. In this paper, we address this issue by seeking compensation from target domain prior knowledge, which is often (partially) available in practice, e.g., from human expertise. This leads to a novel yet practical setting where in addition to the training data, some prior knowledge about the target class distribution are available. We term the setting as Knowledge-guided Unsupervised Domain Adaptation (KUDA). In particular, we consider two specific types of prior knowledge about the class distribution in the target domain: Unary Bound that describes the lower and upper bounds of individual class probabilities, and Binary Relationship that describes the relations between two class probabilities. We propose a general rectification module that uses such prior knowledge to refine model generated pseudo labels. The module is formulated as a Zero-One Programming problem derived from the prior knowledge and a smooth regularizer. It can be easily plugged into self-training based UDA methods, and we combine it with two state-of-the-art methods, SHOT and DINE. Empirical results on four benchmarks confirm that the rectification module clearly improves the quality of pseudo labels, which in turn benefits the self-training stage. With the guidance from prior knowledge, the performances of both methods are substantially boosted. We expect our work to inspire further investigations in integrating prior knowledge in UDA. Code is available at https://github.com/tsun/KUDA.

研究动机与目标

• 解决在缺乏目标域标注数据的情况下，大规模领域偏移场景下的无监督域自适应（UDA）挑战。
• 探索将来自领域专家或历史数据的、关于目标域类别分布的先验知识实际整合到 UDA 中的可行性。
• 开发一种通用的、可插拔的校正模块，通过施加先验知识约束来提升伪标签质量。
• 验证先验知识能否显著增强基于自训练的 UDA 方法性能，尤其是在分布偏移较大的情况下。
• 激发未来在领域自适应中系统性整合先验知识的研究。

提出的方法

• 提出一种新设置——知识引导的无监督域自适应（KUDA），在拥有未标注目标数据的同时，也提供关于目标域类别分布的先验知识。
• 定义两类先验知识：一元边界（单个类别概率的上下界）和二元关系（两个类别概率之间的相对顺序）。
• 设计一个校正模块，将伪标签优化问题建模为受先验知识约束的零一规划（ZOP）问题。
• 引入平滑正则化项，以保持相邻样本间优化后伪标签的一致性。
• 将校正模块集成到基于自训练的 UDA 方法（如 SHOT 和 DINE）中，形成 kSHOT 和 kDINE。
• 通过凸松弛与迭代优化方法近似求解 ZOP 问题，以支持端到端训练。

实验结果

研究问题

• RQ1 关于目标域类别分布的先验知识是否能提升无监督域自适应中伪标签的质量？
• RQ2 所提出的校正模块在利用一元边界和二元关系优化模型生成的伪标签方面效果如何？
• RQ3 在多种领域偏移场景下，尤其是大规模分布偏移时，整合先验知识是否能带来一致的性能提升？
• RQ4 当先验知识可用时，该方法与 SOTA 的 UDA 方法（如 SHOT 和 DINE）相比表现如何？
• RQ5 该校正模块能否被有效且灵活地集成到现有的基于自训练的 UDA 框架中？

主要发现

• 所提出的校正模块通过施加先验知识约束，显著提升了伪标签质量，表现为教师模型输出与真实目标分布之间的 Kullback-Leibler 散度降低。
• 在四个 UDA 基准测试上，集成校正模块的 kSHOT 和 kDINE 相较于原始的 SHOT 和 DINE 显著提升了准确率。
• 在 Office-Home 数据集上，kDINE 搭载一元边界（UB）的平均准确率达到 71.4%，优于 DINE（69.7%）和 DINE∗∗（67.9%），证明了先验知识整合的有效性。
• 在 VisDA-2017 数据集上，kDINE 搭载二元关系（BR）的平均准确率达到 85.3%，超过 DINE 的 84.2%，证实了在标签偏移设置下的性能增益。
• 消融实验表明，使用 one-hot 标签而非平滑标签会降低性能，但 kDINE∗ 仍优于 DINE∗∗，证明即使在次优条件下，先验知识仍具价值。
• 该方法对初始化不敏感，各次运行的标准差较低，表明性能提升稳定可靠。