[论文解读] Unsupervised Domain Adaptation Using Approximate Label Matching

Jordan T. Ash, Robert E. Schapire+1 more|arXiv (Cornell University)|Feb 16, 2016

Domain Adaptation and Few-Shot Learning参考文献 18被引用 5

一句话总结

本文提出了一种新颖的无监督域自适应方法——近似标签匹配（ALM），该方法为目标数据生成噪声伪标签，并利用这些伪标签学习一种域不变的特征变换。ALM 在合成数据和真实世界数据（包括一个多被试 MEG 神经影像数据集）上均优于当前最先进方法，即使在缺乏真实标签的情况下，也能利用目标标签结构实现性能提升。

ABSTRACT

Domain adaptation addresses the problem created when training data is generated by a so-called source distribution, but test data is generated by a significantly different target distribution. In this work, we present approximate label matching (ALM), a new unsupervised domain adaptation technique that creates and leverages a rough labeling on the test samples, then uses these noisy labels to learn a transformation that aligns the source and target samples. We show that the transformation estimated by ALM has favorable properties compared to transformations estimated by other methods, which do not use any kind of target labeling. Our model is regularized by requiring that a classifier trained to discriminate source from transformed target samples cannot distinguish between the two. We experiment with ALM on simulated and real data, and show that it outperforms techniques commonly used in the field.

研究动机与目标

• 为解决机器学习中的域偏移问题，即训练数据与测试数据分布不同。
• 通过在不依赖真实标签的前提下，利用目标域中的隐式标签结构，改进无监督域自适应方法。
• 开发一种方法，利用伪标签化的目标数据学习鲁棒的特征变换，实现源域与目标域的对齐。
• 证明即使使用噪声较大、近似的标签，也能显著提升域自适应性能。
• 提供一种正则化方案，防止在缺乏目标标签的情况下学习域对齐变换时发生过拟合。

提出的方法

• ALM 使用在源数据上训练的分类器对目标数据进行粗略标注，为目标数据构建伪标签分布。
• 学习一种特征变换，以最小化源数据与变换后目标数据之间的差异，同时保留近似的标签结构。
• 通过训练一个判别器来区分源样本与变换后目标样本，对方法进行正则化，以强制实现域不变性。
• 使用带有对比损失的神经网络优化变换过程，以促进源特征与伪标签化目标特征之间的对齐。
• 在某些场景下，该方法以迭代方式应用，将前一轮的输出作为下一轮的输入，以逐步优化伪标签。
• ALM 可与任何现有域自适应技术结合，通过提升对齐效果来增强其性能。

实验结果

研究问题

• RQ1 当缺乏真实标签时，近似目标标签是否能显著提升域自适应性能？
• RQ2 将目标标签结构融入模型，如何影响域对齐变换的质量？
• RQ3 ALM 在合成与真实世界数据集上是否均优于现有无监督域自适应方法？
• RQ4 ALM 是否能有效与其他域自适应技术结合，进一步提升性能？
• RQ5 正则化在缺乏目标标签的情况下，对防止过拟合有何影响？

主要发现

• 在合成域自适应任务中，ALM 在所有基线方法中表现最佳，当目标为 S04 时准确率达到 90.6%，显著高于 DANN 的 79.9% 和 SA 的 75.9%。
• 在 MEG 神经影像数据集上，ALM 的平均准确率达到 81.3%，优于 DANN（73.3%）、SA（71.6%）和堆叠泛化方法（66.1%）。
• 当目标域发生显著偏移（如旋转和平移）时，ALM 仍能成功学习到有意义的对齐，而其他方法则失败。
• ALM 的性能始终不低于初始伪标签的质量，表明其改进过程稳定且可靠。
• 在 MEG 实验的全部 16 名被试中，ALM 均表现出一致的性能提升，较次优方法提升幅度在 2.5 至 10.5 个百分点之间。
• ALM 的性能具有鲁棒性和泛化能力，即使目标域与源域在几何上无重叠，仍能保持优异表现。