[论文解读] Multi-target Unsupervised Domain Adaptation without Exactly Shared Categories

Huanhuan Yu, Menglei Hu+1 more|arXiv (Cornell University)|Sep 4, 2018

Domain Adaptation and Few-Shot Learning参考文献 25被引用 37

一句话总结

本文提出 PA-1SmT，一种新颖的无监督域自适应框架，适用于源域与目标域不完全共享相同类别的多目标场景。该方法通过自适应稀疏表示共享模型参数字典，在不共享原始数据的前提下实现跨域知识迁移，在基准数据集上实现了最先进性能，NMI 指标最高提升 7%。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to learn the unlabeled target domain by transferring the knowledge of the labeled source domain. To date, most of the existing works focus on the scenario of one source domain and one target domain (1S1T), and just a few works concern the scenario of multiple source domains and one target domain (mS1T). While, to the best of our knowledge, almost no work concerns the scenario of one source domain and multiple target domains (1SmT), in which these unlabeled target domains may not necessarily share the same categories, therefore, contrasting to mS1T, 1SmT is more challenging. Accordingly, for such a new UDA scenario, we propose a UDA framework through the model parameter adaptation (PA-1SmT). A key ingredient of PA-1SmT is to transfer knowledge through adaptive learning of a common model parameter dictionary, which is completely different from existing popular methods for UDA, such as subspace alignment, distribution matching etc., and can also be directly used for DA of privacy protection due to the fact that the knowledge is transferred just via the model parameters rather than data itself. Finally, our experimental results on three domain adaptation benchmark datasets demonstrate the superiority of our framework.

研究动机与目标

• 解决尚未充分探索的无监督域自适应场景，即单一源域适应多个类别可能不重叠的目标域（1SmT）。
• 开发一种不依赖共享数据或类别对齐的知识迁移方法，仅通过模型参数实现隐私保护的域自适应。
• 构建一个通用的模型参数字典，以自适应方式捕捉源域与多个目标域之间的可迁移知识。
• 采用交替迭代优化策略，结合闭式解与理论收敛性保证，对框架进行优化。

提出的方法

• 提出一种模型参数适配框架（PA-1SmT），从源域与多个目标域中学习共享的模型参数字典。
• 利用自适应稀疏表示，通过通用字典表示每个目标域的模型参数，实现选择性知识迁移。
• 引入联合优化目标，平衡域对齐、稀疏性与参数重建，通过超参数控制源域与目标域间知识的权衡。
• 采用交替优化策略，每个子问题均有闭式解，确保收敛性与计算效率。
• 该框架通过仅传输模型参数避免数据共享，适用于隐私敏感型应用场景。
• 通用字典通过迭代方式更新，以反映在类别不同的情况下域之间的共享结构知识。

实验结果

研究问题

• RQ1 当目标域不完全共享相同类别时，能否有效实现从单一源域到多个目标域的知识迁移？
• RQ2 如何构建一个统一的模型参数字典，以实现在类别不重叠的域之间自适应的知识迁移？
• RQ3 在 1SmT 场景下，模型参数适配相较于传统的基于特征或样本的域自适应方法，性能提升程度如何？
• RQ4 在强域偏移场景下（如真实数据集中严重的光照变化），该框架表现如何？
• RQ5 增加一个新目标域是否能提升已有目标域的性能？如果是，原因是什么？

主要发现

• PA-1SmT 在三个基准数据集上均取得最先进性能，在 1SmT 与 1S1T 场景下均优于现有方法。
• 在从 Y2 或 Y3 向其他目标域迁移时，NMI 指标最高提升 7%，表明即使在类别不匹配情况下仍具备强大可迁移性。
• 即使在严重光照变化（如 Y4 与 Y5）条件下，PA-1SmT 仍使聚类性能提升近 2%，表明对域偏移具有鲁棒性。
• 增加新目标域（如 Y1）可提升所有其他目标域的性能，表明通用模型参数字典能从更多样化的数据中受益。
• 目标函数单调收敛，NMI 随迭代过程趋于稳定，证实算法具有收敛性与可靠性。