[论文解读] Subspace Alignment For Domain Adaptation

Basura Fernando, Amaury Habrard+2 more|arXiv (Cornell University)|Sep 18, 2014

Domain Adaptation and Few-Shot Learning参考文献 28被引用 38

一句话总结

本文提出子空间对齐（Subspace Alignment, SA），一种简单而有效的领域自适应方法，通过闭式线性变换矩阵对齐源域与目标域子空间，以减少子空间之间的Bregman散度来最小化领域偏移。该方法在多个基准数据集上实现了最先进性能，且超参数调优极少，优于现有的DA方法，包括PLS、LDA以及深度学习基线模型。

ABSTRACT

In this paper, we introduce a new domain adaptation (DA) algorithm where the source and target domains are represented by subspaces spanned by eigenvectors. Our method seeks a domain invariant feature space by learning a mapping function which aligns the source subspace with the target one. We show that the solution of the corresponding optimization problem can be obtained in a simple closed form, leading to an extremely fast algorithm. We present two approaches to determine the only hyper-parameter in our method corresponding to the size of the subspaces. In the first approach we tune the size of subspaces using a theoretical bound on the stability of the obtained result. In the second approach, we use maximum likelihood estimation to determine the subspace size, which is particularly useful for high dimensional data. Apart from PCA, we propose a subspace creation method that outperform partial least squares (PLS) and linear discriminant analysis (LDA) in domain adaptation. We test our method on various datasets and show that, despite its intrinsic simplicity, it outperforms state of the art DA methods.

研究动机与目标

• 解决视觉分类中的领域偏移问题，即训练数据与测试数据来自不同分布。
• 在无监督设置下开发一种有效的领域自适应方法，仅使用有标签的源数据和无标签的目标数据。
• 设计一种计算高效且理论基础扎实的方法，避免复杂的优化或正则化调优。
• 通过原理性、闭式求解的方案对齐源域与目标域子空间，提升跨领域泛化能力。
• 提供鲁棒且自动的子空间维度选择，无需交叉验证。

提出的方法

• 通过PCA将源域和目标域分别表示为各自协方差矩阵前导特征向量张成的子空间。
• 通过最小化Bregman散度，学习一个线性变换矩阵M，将源子空间映射至与目标子空间对齐。
• 以闭式形式推导出最优M，即源域与目标域特征向量矩阵的乘积，实现快速计算。
• 提出两种确定最优子空间维度的方法：一种基于理论稳定性边界，另一种基于最大似然估计（SA-MLE）。
• 使用对齐后的源子空间对源数据进行投影，目标子空间对目标数据进行投影，从而使用单一分类器实现联合分类。
• 利用源域标签信息增强源子空间的判别性，提升下游任务性能。

实验结果

研究问题

• RQ1 能否通过一种简单、闭式求解的线性变换在无监督领域自适应中有效减少源域与目标域子空间之间的领域偏移？
• RQ2 如何在无需交叉验证的情况下自动选择子空间维度？该方法在理论与实证上具有哪些优势？
• RQ3 子空间对齐是否在视觉领域自适应任务中优于PLS、LDA及深度度量学习等成熟方法？
• RQ4 在源域中使用标签信息如何影响对齐后子空间的判别能力？
• RQ5 该方法是否能在Office、Caltech、ImageNet和Pascal-VOC等多样化数据集上实现良好泛化，且仅需极少的架构或超参数调整？

主要发现

• 子空间对齐在Office+Caltech-10数据集上达到最先进性能，12个领域自适应任务的平均准确率达到48.5%。
• SA-MLE变体消除了子空间维度选择中对交叉验证的依赖，通过最大似然估计实现稳定性能。
• 在A→C和C→W任务中，自标签方法表现优于SA，但SA在D→W（84.5%）和W→D（86.2%）任务中仍表现强劲。
• 该方法在领域自适应中优于PLS与LDA，尤其在高维数据上表现更优，归因于其基于全局协方差的对齐机制与内在正则化。
• 在词袋表示中，更大的视觉词汇表可提升基于子空间的DA性能，即使基线准确率较低亦然。
• 将SA与其他策略（如自标签、实例加权或词典学习）结合可进一步提升性能，表明其在混合方法中具有强大潜力。