[论文解读] Towards Inheritable Models for Open-Set Domain Adaptation

Jogendra Nath Kundu, Naveen Venkat+3 more|arXiv (Cornell University)|Apr 9, 2020

Domain Adaptation and Few-Shot Learning参考文献 7被引用 16

一句话总结

本文提出了一种用于开放集域自适应的可继承模型，使客户端能够在无法访问源数据集的情况下，将预训练模型适配到新的目标域。通过基于置信度的度量方法量化模型可继承性，该方法实现了最优模型选择，并在开放集DA中实现了最先进性能，即使在适配过程中无源数据亦可达成。

ABSTRACT

There has been a tremendous progress in Domain Adaptation (DA) for visual recognition tasks. Particularly, open-set DA has gained considerable attention wherein the target domain contains additional unseen categories. Existing open-set DA approaches demand access to a labeled source dataset along with unlabeled target instances. However, this reliance on co-existing source and target data is highly impractical in scenarios where data-sharing is restricted due to its proprietary nature or privacy concerns. Addressing this, we introduce a practical DA paradigm where a source-trained model is used to facilitate adaptation in the absence of the source dataset in future. To this end, we formalize knowledge inheritability as a novel concept and propose a simple yet effective solution to realize inheritable models suitable for the above practical paradigm. Further, we present an objective way to quantify inheritability to enable the selection of the most suitable source model for a given target domain, even in the absence of the source data. We provide theoretical insights followed by a thorough empirical evaluation demonstrating state-of-the-art open-set domain adaptation performance.

研究动机与目标

• 解决开放集域自适应中需要同时拥有源数据集和目标数据集的实用限制。
• 在供应商-客户端范式下实现模型适配，其中客户端无法访问源数据。
• 将知识可继承性形式化为可度量属性，以选择最适合给定目标域的源模型。
• 开发一种在适配过程中不依赖源数据即可实现最先进开放集DA性能的方法。

提出的方法

• 引入可继承模型的概念——即预训练模型，其保留了可迁移至未见目标域的任务特定知识，且无需源数据。
• 提出一种基于分类器置信度的度量方法（模型可继承性，I），以客观量化源模型在目标域上的适配能力。
• 采用基于置信度的选择策略对目标样本进行伪标签化，利用高置信度与共享类别更好泛化能力之间的相关性。
• 采用两阶段适配过程：首先，客户端使用供应商提供的预训练权重初始化目标模型；其次，利用无标签目标数据和基于代理的域对齐损失进行微调。
• 应用基于代理的距离（A→D距离）来测量预分类器空间中共享类与未知类之间的分离程度，从而增强对负迁移的鲁棒性。
• 引入一种训练流程：供应商仅需一次性训练一个模型，之后可被多个客户端复用，显著降低整体训练成本。

实验结果

研究问题

• RQ1 在无法访问原始源数据的情况下，预训练模型能否被有效适配到新的目标域？
• RQ2 如何客观度量源模型的可继承性，以指导针对特定目标域的模型选择？
• RQ3 基于置信度的伪标签选择策略是否能提升开放集DA中的适配性能？
• RQ4 所提出的方法是否在供应商-客户端范式下实现了开放集域自适应的最先进性能？

主要发现

• 所提方法在标准开放集DA基准（如Office-31）上实现了最先进性能，即使在适配过程中未访问源数据集。
• 模型可继承性（I）成功预测了适配性能：I值越高，下游准确率越高，从而实现可靠的模型选择。
• 在Office-31 A→D任务中，该方法性能与SOTA方法STA相当，尽管未使用源数据。
• 基于置信度的伪标签策略在初始化时即实现对前15%目标样本的伪标签精度超过90%，且随着适配过程进一步提升。
• 总训练成本显著降低：所提方法总耗时435秒（含供应商训练与客户端适配），而使用源数据的多客户端方法耗时1150秒。
• t-SNE可视化结果表明，可继承模型学习的特征空间能有效保持共享类与未知类之间的分离，最大限度减少负迁移。