[论文解读] Source-Free Unsupervised Domain Adaptation: A Survey

Yuqi Fang, Pew‐Thian Yap+3 more|arXiv (Cornell University)|Dec 31, 2022

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

本综述对无源无监督域自适应（SFUDA）方法进行了全面、系统的回顾，根据对源模型参数的访问程度将方法分类为白盒与黑盒两类。文章分析了学习策略、基准数据集及提升泛化能力的技术，为在无法获取源数据的实际部署场景中推进SFUDA研究提供了洞见。

ABSTRACT

Unsupervised domain adaptation (UDA) via deep learning has attracted appealing attention for tackling domain-shift problems caused by distribution discrepancy across different domains. Existing UDA approaches highly depend on the accessibility of source domain data, which is usually limited in practical scenarios due to privacy protection, data storage and transmission cost, and computation burden. To tackle this issue, many source-free unsupervised domain adaptation (SFUDA) methods have been proposed recently, which perform knowledge transfer from a pre-trained source model to unlabeled target domain with source data inaccessible. A comprehensive review of these works on SFUDA is of great significance. In this paper, we provide a timely and systematic literature review of existing SFUDA approaches from a technical perspective. Specifically, we categorize current SFUDA studies into two groups, i.e., white-box SFUDA and black-box SFUDA, and further divide them into finer subcategories based on different learning strategies they use. We also investigate the challenges of methods in each subcategory, discuss the advantages/disadvantages of white-box and black-box SFUDA methods, conclude the commonly used benchmark datasets, and summarize the popular techniques for improved generalizability of models learned without using source data. We finally discuss several promising future directions in this field.

研究动机与目标

• 为解决无监督域自适应（UDA）中源数据必需但常因隐私、成本或计算限制而不可用的关键局限性。
• 提供近期SFUDA方法的及时且系统性的文献综述，填补以往综述在深度与最新性方面的空白。
• 根据对源模型参数的访问程度，将SFUDA方法划分为白盒与黑盒类别，并进一步按学习策略进行子分类。
• 比较白盒与黑盒SFUDA的优缺点，总结常用基准数据集，并识别提升模型泛化能力的技术。
• 概述有前景的未来研究方向，包括持续学习、跨模态适应以及无源域自适应中的半监督设置。

提出的方法

• 将SFUDA方法分为两大类：白盒（可完全访问源模型参数）与黑盒（仅可通过模型推理或API访问）。
• 基于学习策略（如自训练、对抗训练、一致性正则化、知识蒸馏）对每一类进行进一步细分。
• 分析各类子类特有的挑战，包括分布偏移、模型崩溃及持续适应中的遗忘问题。
• 回顾并总结SFUDA研究中常用基准数据集，如Office-Home、VisDA以及特定领域的医学影像数据集。
• 考察提升模型泛化能力的技术，包括分布对齐、特征精炼以及基于不确定性的目标样本选择方法。
• 提出未来研究方向，包括引入神经架构搜索（NAS）以实现目标模型的自动设计、跨模态适应，以及通过持续学习缓解灾难性遗忘。

实验结果

研究问题

• RQ1 白盒与黑盒SFUDA方法在模型访问方式、学习策略及性能权衡方面有何差异？
• RQ2 SFUDA各类子类中的关键技术挑战是什么？它们如何影响模型的泛化能力与鲁棒性？
• RQ3 SFUDA研究中最常使用的基准数据集有哪些？它们如何反映现实世界中的域偏移场景？
• RQ4 当源数据完全不可访问时，哪些技术最有效地提升模型泛化能力？
• RQ5 未来研究方向（如持续学习、跨模态适应、NAS）中，哪些最有可能推动SFUDA的发展？

主要发现

• 白盒SFUDA方法因可实现更精确的知识蒸馏与参数级优化，通常比黑盒方法表现更优。
• 黑盒SFUDA方法仅依赖模型推理或API，在严格数据隐私约束的实际场景中更具实用性，但面临模型对齐与表征学习的挑战。
• SFUDA研究中常用基准数据集包括Office-Home、VisDA以及如MRI和CT扫描等特定领域的医学影像数据集，能有效反映现实世界的域偏移问题。
• 一致性正则化、分布对齐以及基于不确定性的样本选择等技术显著提升了SFUDA中的模型泛化能力，通过减少域差异并过滤噪声预测实现。
• 未来方向如用于自动目标模型设计的神经架构搜索（NAS）以及防止灾难性遗忘的持续学习，展现出强大潜力，但在无源设置中仍研究不足。
• 跨模态适应（如医学影像中从CT到MRI的迁移）是一个有前景但尚未充分发展的方向，有望降低标注成本并提升模型可迁移性。