[论文解读] Return of Frustratingly Easy Domain Adaptation

Baochen Sun, Jiashi Feng+1 more|arXiv (Cornell University)|Nov 17, 2015

Domain Adaptation and Few-Shot Learning参考文献 35被引用 108

一句话总结

本文提出 CORAL，一种简单但非常有效的无监督域自适应方法，通过使用目标域的协方差矩阵对白化后的源域特征进行重新着色，来对齐源域和目标域的二阶统计量。尽管其实现极为简洁（仅四行代码），CORAL 在图像识别和情感分析基准上均取得了最先进性能，尤其在深度特征上表现优异，超越了需要微调或超参数调优的复杂方法。

ABSTRACT

Unlike human learning, machine learning often fails to handle changes between training (source) and test (target) input distributions. Such domain shifts, common in practical scenarios, severely damage the performance of conventional machine learning methods. Supervised domain adaptation methods have been proposed for the case when the target data have labels, including some that perform very well despite being "frustratingly easy" to implement. However, in practice, the target domain is often unlabeled, requiring unsupervised adaptation. We propose a simple, effective, and efficient method for unsupervised domain adaptation called CORrelation ALignment (CORAL). CORAL minimizes domain shift by aligning the second-order statistics of source and target distributions, without requiring any target labels. Even though it is extraordinarily simple--it can be implemented in four lines of Matlab code--CORAL performs remarkably well in extensive evaluations on standard benchmark datasets.

研究动机与目标

• 为解决机器学习中的域偏移问题，即训练（源）数据和测试（目标）数据分布不同，这通常会导致模型性能下降。
• 开发一种无需目标数据标签的无监督域自适应方法，因为真实应用场景中目标标签往往不可用。
• 设计一种既易于实现又高度有效的方法，尤其适用于深度神经网络特征。
• 证明通过对齐域之间的二阶统计量（协方差）可获得优于更复杂自适应技术的性能。

提出的方法

• CORAL 通过对齐源域和目标域特征分布的协方差矩阵来最小化域偏移。
• 首先对源域特征进行白化处理以消除内部相关性，然后使用目标域的协方差矩阵对特征进行重新着色。
• 该变换为一个线性操作，定义为 X_s' = W_T^{-1/2} X_s W_T^{1/2}，其中 W_T 为目标域协方差矩阵。
• 该方法仅需两步：计算源域和目标域特征的协方差矩阵，并应用白化与重新着色变换。
• 变换后，对适配后的源域特征直接应用标准监督学习，无需目标标签。
• 该方法计算效率高，可在四行 MATLAB 代码内实现。

实验结果

研究问题

• RQ1 基于二阶统计量的简单、非迭代方法是否能超越复杂的、基于深度学习的域自适应方法？
• RQ2 在无目标标签的情况下，协方差对齐在减少域偏移方面的有效性如何？
• RQ3 CORAL 的性能增益是否随特征复杂度增加而提升，特别是在深度特征上？
• RQ4 在视觉和自然语言处理任务中，CORAL 与 SOTA 方法（如 TCA、GFK 和 SA）相比表现如何？

主要发现

• 在使用 SURF 特征的 Office-Caltech10 数据集上，CORAL 达到了 64.0% 的准确率，显著优于次佳方法（SA 为 49.1%）和无自适应基线。
• 在使用深度卷积神经网络特征（DECAF-fc7）的 Office-Caltech10 数据集上，CORAL 达到 64.0% 的准确率，超越了所有先前方法，包括复杂的自适应网络。
• 在亚马逊评论的情感分析任务中，CORAL 在所有域偏移设置下均取得最高平均准确率，甚至优于 TCA 和 GFK 等最先进方法。
• CORAL 与其他方法之间的性能差距在深度特征上远大于浅层特征，表明其在深度学习场景中收益更显著。
• CORAL 在图像数据上的提升最为明显，因为图像特征更密集且相关性更强，而相比稀疏的词袋文本特征，优势更突出。
• 即使在使用全部训练数据的情况下，CORAL 仍保持强大性能，表明其对数据集大小具有鲁棒性，并具备良好的泛化能力。