[论文解读] When Unsupervised Domain Adaptation Meets Tensor Representations

Hao Lü, Lei Zhang+5 more|arXiv (Cornell University)|Jul 19, 2017

Domain Adaptation and Few-Shot Learning参考文献 39被引用 25

一句话总结

该论文提出了一种新型无监督域自适应方法——张量对齐不变子空间学习（TAISL），该方法直接对源域和目标域的张量表示进行域自适应，无需向量化。通过学习对齐矩阵，将张量投影到共享的不变张量子空间中，TAISL 能够保持多线性结构，降低维度，并在跨域视觉识别任务中优于当前最先进方法，尤其在深层卷积激活特征上表现更优，且对标签噪声和小样本情况具有更强的鲁棒性。

ABSTRACT

Domain adaption (DA) allows machine learning methods trained on data sampled from one distribution to be applied to data sampled from another. It is thus of great practical importance to the application of such methods. Despite the fact that tensor representations are widely used in Computer Vision to capture multi-linear relationships that affect the data, most existing DA methods are applicable to vectors only. This renders them incapable of reflecting and preserving important structure in many problems. We thus propose here a learning-based method to adapt the source and target tensor representations directly, without vectorization. In particular, a set of alignment matrices is introduced to align the tensor representations from both domains into the invariant tensor subspace. These alignment matrices and the tensor subspace are modeled as a joint optimization problem and can be learned adaptively from the data using the proposed alternative minimization scheme. Extensive experiments show that our approach is capable of preserving the discriminative power of the source domain, of resisting the effects of label noise, and works effectively for small sample sizes, and even one-shot DA. We show that our method outperforms the state-of-the-art on the task of cross-domain visual recognition in both efficacy and efficiency, and particularly that it outperforms all comparators when applied to DA of the convolutional activations of deep convolutional networks.

研究动机与目标

• 通过在不依赖目标域标签数据的前提下，将源域数据分布自适应到目标域分布，以缓解视觉识别中的域偏移问题。
• 克服基于向量的域自适应方法在向量化过程中丢失结构信息以及面临维度灾难的问题。
• 在域自适应过程中，保留高维张量表示（如深度神经网络的卷积激活）中的内在多线性关系。
• 构建一个联合优化框架，同时学习对齐矩阵和不变张量子空间，以实现高效且有效的自适应。
• 在有效性与效率方面均优于当前最先进方法，尤其在小样本和零样本自适应设置下表现更优。

提出的方法

• 该方法提出了一种张量对齐不变子空间学习（TAISL）框架，直接建模源域和目标域的张量表示，避免了向量化操作。
• 学习一组对齐矩阵，将源域张量投影到与目标域对齐的共享不变张量子空间中。
• 通过交替最小化策略，联合优化对齐矩阵和不变张量子空间，以最小化域间差异。
• 在张量的各个模式（如空间、通道、批量）上执行逐模式的部分自适应，降低维度并避免维度灾难。
• 优化问题的构建旨在保留判别性特征，同时最小化域间分布偏移。
• 该方法应用于三阶张量（如卷积神经网络的特征图），同时建模多个模式之间的相关性。

实验结果

研究问题

• RQ1 与向量化方法相比，直接对张量表示进行自适应是否能提升域自适应性能？
• RQ2 在张量中保留多线性结构是否能增强对标签噪声和小样本情况的鲁棒性？
• RQ3 与整体向量化自适应相比，张量子空间中的逐模式自适应是否能降低计算复杂度和估计误差？
• RQ4 该方法在天然具有张量结构的深层卷积特征上表现如何？
• RQ5 对齐矩阵与不变子空间的联合优化在不同超参数下是否有效且稳定？

主要发现

• 在 Office-Caltech10 数据集上，TAISL 在 W→C 任务中使用 tCONV 特征达到 76.4% 的准确率，优于次优方法（NTSL）的 71.6%。
• 在 ImageNet-VOC2007 数据集上，TAISL 使用 tCONV 特征实现 60.4% 的 mAP，领先第二名方法（NTSL）5.2 个百分点。
• 该方法对标签噪声和小样本情况表现出强鲁棒性，在 10 次试验中性能稳定，标准差较低（如 ImageNet-VOC2007 上 mAP 的标准差为 3.5）。
• 敏感性分析表明，分类准确率对权重系数 λ 的变化不敏感，λ 从 1e-9 到 1e1 的范围内波动极小。
• 增加空间模式维度（ds）可提升准确率，表明保留空间结构有助于提升自适应性能。
• 特征模式维度（df）表现出饱和效应：当 df=16 时准确率显著提升，但超过该值后趋于平稳，表明表达能力与复杂度之间存在最优平衡。