[论文解读] Reusing the Task-specific Classifier as a Discriminator: Discriminator-free Adversarial Domain Adaptation

Lin Chen, Huaian Chen+5 more|arXiv (Cornell University)|Apr 8, 2022

Domain Adaptation and Few-Shot Learning被引用 13

一句话总结

该论文提出了一种无需判别器的对抗性域自适应框架 DALN，通过一种新颖的核范数Wasserstein差异（NWD）将任务特定分类器重新用作判别器。通过在单一目标下统一域对齐与类别可分性，DALN 在无需额外训练组件的情况下实现了更优的特征对齐与预测可靠性，在多个基准测试中超越了当前最先进方法。

ABSTRACT

Adversarial learning has achieved remarkable performances for unsupervised domain adaptation (UDA). Existing adversarial UDA methods typically adopt an additional discriminator to play the min-max game with a feature extractor. However, most of these methods failed to effectively leverage the predicted discriminative information, and thus cause mode collapse for generator. In this work, we address this problem from a different perspective and design a simple yet effective adversarial paradigm in the form of a discriminator-free adversarial learning network (DALN), wherein the category classifier is reused as a discriminator, which achieves explicit domain alignment and category distinguishment through a unified objective, enabling the DALN to leverage the predicted discriminative information for sufficient feature alignment. Basically, we introduce a Nuclear-norm Wasserstein discrepancy (NWD) that has definite guidance meaning for performing discrimination. Such NWD can be coupled with the classifier to serve as a discriminator satisfying the K-Lipschitz constraint without the requirements of additional weight clipping or gradient penalty strategy. Without bells and whistles, DALN compares favorably against the existing state-of-the-art (SOTA) methods on a variety of public datasets. Moreover, as a plug-and-play technique, NWD can be directly used as a generic regularizer to benefit existing UDA algorithms. Code is available at https://github.com/xiaoachen98/DALN.

研究动机与目标

• 解决现有对抗性域自适应方法的局限性，这些方法要么忽略判别性信息，要么因特征对齐不佳而遭受模式崩溃。
• 通过重用现有的任务特定分类器作为判别器，消除对额外判别器的需求，从而简化模型架构。
• 设计一种新的差异度量方法——核范数Wasserstein差异（NWD），为域对齐提供清晰指导，同时保留类别级信息。
• 通过统一的目标函数，使模型能够同时实现域不变表示学习与高质量分类。
• 证明所提出的 NWD 可作为即插即用正则化器，无需架构修改即可增强现有 UDA 方法的性能。

提出的方法

• 提出一种新颖的对抗性范式，将任务特定分类器重用于判别器，从而无需引入外部判别器网络。
• 引入核范数Wasserstein差异（NWD），一种结合核范数与1-Wasserstein距离的差异度量，以促进预测的确定性与多样性。
• 由于在源域上进行了监督训练，NWD 天然地为源域样本分配高分，为目标域样本分配低分，从而提供强大的判别引导。
• NWD 无需权重裁剪或梯度惩罚即可满足 K-Lipschitz 约束，简化了训练稳定性。
• 将 NWD 集成到分类器损失中，通过统一目标联合优化域对齐与类别可分性。
• 采用即插即用设计：NWD 可直接作为正则化器应用于现有 UDA 模型（如 DANN 和 MDD），无需架构修改。

实验结果

研究问题

• RQ1 在对抗性域自适应中，是否可以有效将任务特定分类器重用于判别器，而无需引入额外网络？
• RQ2 一种具备内在引导（如来自监督源标签的引导）的差异度量是否能同时改善域对齐与类别可分性？
• RQ3 所提出的核范数Wasserstein差异（NWD）是否能在无需权重裁剪或梯度惩罚的情况下满足 K-Lipschitz 约束？
• RQ4 对域对齐与分类任务的统一优化在多大程度上提升了泛化能力并减少了模式崩溃？
• RQ5 NWD 是否可作为通用正则化器，用于提升现有 SOTA UDA 方法的性能？

主要发现

• 所提出的 DALN 模型在多个公开基准（包括 Office-31 和 Office-Home）上优于当前最先进方法，且无需任何额外组件。
• 混淆矩阵显示，DALN 的对角线值显著更高，表明类别级预测准确率更高，误分类更少。
• 与源域仅训练、DANN 和 MDD 相比，DALN 中正确分类样本的高置信度预测比例（概率 > 0.9）显著提升。
• DALN 提升了预测多样性，尤其在低资源类别中表现更优，正确分类了更多少数类样本。
• t-SNE 可视化结果表明，与 DANN 和 MDD 相比，DALN 学习到了更紧凑的类内聚类与更清晰的类间分离。
• 当 NWD 作为正则化器应用于 DANN 和 MDD 时，两模型均表现出更优的类内紧凑性与类间分离性，证实了 NWD 的通用性。