[论文解读] Robust Data Geometric Structure Aligned Close yet Discriminative Domain Adaptation

Lingkun Luo, Xiaofang Wang+2 more|arXiv (Cornell University)|May 24, 2017

Domain Adaptation and Few-Shot Learning参考文献 15被引用 17

一句话总结

该论文提出RSA-CDDA，一种新颖的域自适应方法，通过在共享潜在子空间中联合使用最大均值差异（MMD）进行分布对齐，以及利用低秩与稀疏表示进行几何结构对齐，实现分布与几何结构的统一对齐。通过迭代优化同时最小化域偏移并增强类间可分性，RSA-CDDA在16个跨域图像分类基准上达到最先进性能，总体平均准确率达到57.02%，在所有数据集上均优于现有方法，包括在COIL20数据集上达到95.35%的准确率。

ABSTRACT

Domain adaptation (DA) is transfer learning which aims to leverage labeled data in a related source domain to achieve informed knowledge transfer and help the classification of unlabeled data in a target domain. In this paper, we propose a novel DA method, namely Robust Data Geometric Structure Aligned, Close yet Discriminative Domain Adaptation (RSA-CDDA), which brings closer, in a latent joint subspace, both source and target data distributions, and aligns inherent hidden source and target data geometric structures while performing discriminative DA in repulsing both interclass source and target data. The proposed method performs domain adaptation between source and target in solving a unified model, which incorporates data distribution constraints, in particular via a nonparametric distance, i.e., Maximum Mean Discrepancy (MMD), as well as constraints on inherent hidden data geometric structure segmentation and alignment between source and target, through low rank and sparse representation. RSA-CDDA achieves the search of a joint subspace in solving the proposed unified model through iterative optimization, alternating Rayleigh quotient algorithm and inexact augmented Lagrange multiplier algorithm. Extensive experiments carried out on standard DA benchmarks, i.e., 16 cross-domain image classification tasks, verify the effectiveness of the proposed method, which consistently outperforms the state-of-the-art methods.

研究动机与目标

• 为解决无监督域自适应中源域与目标域数据分布不同所带来的域偏移挑战。
• 通过联合对齐域之间的边缘分布与类条件分布，提升模型泛化能力。
• 通过低秩与稀疏表示显式建模并对齐源域与目标域数据的内在隐藏几何结构。
• 通过在共享子空间中排斥类间样本，增强判别能力。
• 开发一个统一的优化框架，整合分布对齐、几何结构对齐与判别学习。

提出的方法

• 该方法构建一个统一的优化模型，引入MMD以最小化源域与目标域边缘分布及类条件分布之间的差异。
• 通过低秩与稀疏表示强制对齐隐藏几何结构，其中目标数据在保持局部性感知的前提下，利用源数据进行重建。
• 引入列向稀疏重建误差矩阵，以增强对数据异常值的鲁棒性。
• 通过交替优化求解模型：使用瑞利商算法进行子空间学习，使用非精确增广拉格朗日乘子（IALM）算法求解低秩与稀疏约束。
• 通过迭代优化，同时拉近分布并分离类间样本，逐步优化联合子空间。
• 该方法在统一框架下，将分布对齐、几何结构对齐与判别学习整合于单一优化目标中。

实验结果

研究问题

• RQ1 统一的域自适应框架能否有效对齐源域与目标域之间的数据分布与内在几何结构？
• RQ2 联合优化分布对齐与几何结构对齐在无监督域自适应中如何提升泛化性能？
• RQ3 在重建误差中强制引入稀疏性在多大程度上提升了对异常值的鲁棒性？
• RQ4 所提出方法是否在多样化的跨域图像分类任务中均优于最先进方法？
• RQ5 当目标数据无标签且存在显著域偏移时，该方法是否仍能保持高准确率？

主要发现

• RSA-CDDA在16个跨域图像分类任务上的总体平均准确率为57.02%，优于全部九种基线方法。
• 在16项独立域自适应任务中的9项上排名第一，展现出一致的优越性。
• 在COIL20数据集上，RSA-CDDA达到95.35%的准确率，显著高于次优方法（92.71%），凸显其在极端域偏移下的有效性。
• 在MNIST vs USPS任务上，RSA-CDDA达到77.50%的准确率，显著超过第二名方法（76.22%）。
• 在W→D任务中，RSA-CDDA达到94.90%的准确率，为所有方法中的最高值，表明其在大规模域偏移下的强大性能。
• 消融研究证实，MMD、低秩、稀疏与判别性组件的整合至关重要，移除任一组件均导致性能下降。