[论文解读] On Universal Black-Box Domain Adaptation

Bin Deng, Yabin Zhang+3 more|arXiv (Cornell University)|Apr 10, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用 8

一句话总结

本文提出通用黑箱域自适应（UB²DA），这是一种新型设定，仅可访问源模型的接口，目标标签空间未知且可能与源不同。通过利用局部预测一致性正则化的自训练框架，统一了类内判别与类外检测，实现了在无需访问源数据或模型的情况下，在基准测试上达到最先进性能。

ABSTRACT

In this paper, we study an arguably least restrictive setting of domain adaptation in a sense of practical deployment, where only the interface of source model is available to the target domain, and where the label-space relations between the two domains are allowed to be different and unknown. We term such a setting as Universal Black-Box Domain Adaptation (UB$^2$DA). The great promise that UB$^2$DA makes, however, brings significant learning challenges, since domain adaptation can only rely on the predictions of unlabeled target data in a partially overlapped label space, by accessing the interface of source model. To tackle the challenges, we first note that the learning task can be converted as two subtasks of in-class\footnote{In this paper we use in-class (out-class) to describe the classes observed (not observed) in the source black-box model.} discrimination and out-class detection, which can be respectively learned by model distillation and entropy separation. We propose to unify them into a self-training framework, regularized by consistency of predictions in local neighborhoods of target samples. Our framework is simple, robust, and easy to be optimized. Experiments on domain adaptation benchmarks show its efficacy. Notably, by accessing the interface of source model only, our framework outperforms existing methods of universal domain adaptation that make use of source data and/or source models, with a newly proposed (and arguably more reasonable) metric of H-score, and performs on par with them with the metric of averaged class accuracy.

研究动机与目标

• 为解决当源数据和模型权重不可用时，仅可访问源模型接口的实用域自适应挑战。
• 在目标标签空间未知且可能与源不同的场景下，实现鲁棒的自适应。
• 开发一种方法，在不依赖源数据或模型架构的前提下，同时实现类内判别与分布外检测。
• 证明经过良好初始化的黑箱模型可超越需要完整访问源数据的方法。

提出的方法

• 该方法将 UB²DA 任务分解为两个子任务：通过知识蒸馏从源模型的预测中实现类内判别。
• 通过在目标预测上使用熵分离训练二分类器，实现类外检测。
• 自训练框架统一了两个子任务，利用目标模型预测生成伪标签。
• 在目标样本的局部邻域上应用一致性正则化，以稳定训练并提升泛化能力。
• 通过联合损失函数端到端优化框架，该损失函数结合了用于类内分类的交叉熵损失与用于类外检测的基于熵的损失。
• 该方法与模型架构无关，仅需访问源模型前向传播的输出。

实验结果

研究问题

• RQ1 当仅可访问预训练源模型的接口，而无法访问源数据或模型权重时，能否实现有效的域自适应？
• RQ2 当目标标签空间未知且与源部分不相交时，模型如何学习检测分布外样本？
• RQ3 在黑箱设定下，带有局部一致性正则化的自训练框架能否有效统一类内判别与类外检测？
• RQ4 在 H-score 和平均类别准确率方面，黑箱自适应方法是否优于非黑箱最先进方法？

主要发现

• 所提出的 UB²DA 方法在多个基准测试上，于 H-score 指标上优于最先进非黑箱通用域自适应方法，展现出更优的泛化能力与鲁棒性。
• 在 Office31 数据集上，使用 ResNet18 时平均准确率达 91.3% ± 0.2，使用 ResNet34 时为 91.1% ± 0.3，使用 ResNet50 时为 91.7% ± 0.1，表明在不同主干网络上均表现强劲。
• 该方法对超参数变化具有鲁棒性，在 ρ、β 和 M 的广泛取值范围内性能下降极小，表明其稳定且易于部署。
• 实验表明，尽管未使用源数据或模型参数，该方法在平均类别准确率方面与非黑箱最先进方法表现相当。
• 消融研究证实，类内蒸馏与基于熵的类外检测均对最终性能有显著贡献。