[论文解读] Unsupervised Transductive Domain Adaptation

Ozan Şener, Hyun Oh Song+2 more|arXiv (Cornell University)|Feb 10, 2016

Domain Adaptation and Few-Shot Learning参考文献 23被引用 3

一句话总结

本文提出了一种新颖的无监督归纳域自适应方法，通过联合优化目标域标签推理与源域和目标域之间的非对称相似性度量，实现了显著的性能提升。通过在归纳标签分配与基于度量学习的域自适应之间交替进行，该方法在数字分类和物体识别基准上取得了最先进性能，通过提升目标域中的判别性，显著优于先前的方法。

ABSTRACT

Supervised learning with large scale labeled datasets and deep layered models has made a paradigm shift in diverse areas in learning and recognition. However, this approach still suffers generalization issues under the presence of a domain shift between the training and the test data distribution. In this regard, unsupervised domain adaptation algorithms have been proposed to directly address the domain shift problem. In this paper, we approach the problem from a transductive perspective. We incorporate the domain shift and the transductive target inference into our framework by jointly solving for an asymmetric similarity metric and the optimal transductive target label assignment. We also show that our model can easily be extended for deep feature learning in order to learn features which are discriminative in the target domain. Our experiments show that the proposed method significantly outperforms state-of-the-art algorithms in both object recognition and digit classification experiments by a large margin.

研究动机与目标

• 解决深度模型在训练数据分布与测试数据分布存在领域偏移时的泛化失败问题。
• 克服现有无监督域自适应方法在自适应过程中未考虑目标域推理过程的局限性。
• 开发一种联合优化目标标签分配与域变换的框架，以提升目标域中的判别性。
• 通过归纳建模实现针对目标域性能专门优化的深度特征学习。
• 在Office和MNIST/SVHN等标准域自适应基准上实现最先进性能。

提出的方法

• 构建一个统一的优化框架，交替进行归纳（标签推理）与自适应（度量学习）。
• 在归纳阶段使用离散多标签能量最小化来推断目标标签，强制在未标记的目标样本之间保持平滑性与一致性。
• 在自适应阶段学习源域与目标域数据之间的非对称相似性度量，实现领域偏移建模，而无需假设距离属性的对称性。
• 通过引入标签传播来稳定训练并改善端到端学习中的梯度流动。
• 通过联合训练特征提取器与自适应模块，将框架扩展至深度神经网络，损失函数依赖于目标域分类准确率。
• 采用交替优化策略：固定域变换以推断标签，然后固定标签以更新非对称度量。

实验结果

研究问题

• RQ1 联合优化目标标签推理与域自适应是否能提升在领域偏移下的泛化能力？
• RQ2 将归纳推理过程整合到自适应目标中，是否能优于将两者分开处理的方法？
• RQ3 在存在大规模分布偏移的情况下，非对称相似性度量是否能优于对称度量来建模跨域关系？
• RQ4 标签传播与深度特征学习在多大程度上提升了归纳域自适应的稳定性和准确性？
• RQ5 与仅依赖域不变特征学习相比，显式建模目标域判别性是否能带来更优性能？

主要发现

• 所提方法在MNIST → SVHN和SVHN → MNIST域自适应基准上实现了最先进性能，显著优于先前方法。
• 在Office数据集上，该方法在物体识别准确率方面显著超越现有无监督域自适应技术，展现出在多样化视觉领域间的强大泛化能力。
• 消融研究显示，标签传播与深度特征学习对性能均至关重要，缺乏标签传播会导致训练不稳定且准确率下降。
• t-SNE可视化结果表明，该方法在自适应后成功按类别聚类目标域特征，而基线方法则未能有效组织目标特征。
• 所学习的非对称度量在跨域（如MNIST与SVHN之间）的大规模视觉领域偏移下，仍能产生高度准确的最近邻预测。
• 该方法通过直接优化目标分类性能，显式学习目标域中的判别性特征，而不同于仅追求不变性的域不变方法可能以牺牲判别性为代价。