[论文解读] XMixup: Efficient Transfer Learning with Auxiliary Samples by Cross-domain Mixup

Xingjian Li, Haoyi Xiong+3 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 20被引用 7

一句话总结

XMixup 提出了一种新颖且高效的迁移学习方法，通过使用 mixup 技术将目标域样本与源域中语义对齐的辅助样本混合，从而提升深度神经网络的性能。在微调过程中结合跨域样本，XMixup 在平均性能上比当前最先进方法提升 1.9%，同时减少训练时间并避免昂贵的中间微调步骤。

ABSTRACT

Transferring knowledge from large source datasets is an effective way to fine-tune the deep neural networks of the target task with a small sample size. A great number of algorithms have been proposed to facilitate deep transfer learning, and these techniques could be generally categorized into two groups - Regularized Learning of the target task using models that have been pre-trained from source datasets, and Multitask Learning with both source and target datasets to train a shared backbone neural network. In this work, we aim to improve the multitask paradigm for deep transfer learning via Cross-domain Mixup (XMixup). While the existing multitask learning algorithms need to run backpropagation over both the source and target datasets and usually consume a higher gradient complexity, XMixup transfers the knowledge from source to target tasks more efficiently: for every class of the target task, XMixup selects the auxiliary samples from the source dataset and augments training samples via the simple mixup strategy. We evaluate XMixup over six real world transfer learning datasets. Experiment results show that XMixup improves the accuracy by 1.9% on average. Compared with other state-of-the-art transfer learning approaches, XMixup costs much less training time while still obtains higher accuracy.

研究动机与目标

• 为通过更有效地整合源域和目标域知识，解决迁移学习中的灾难性遗忘和负迁移问题。
• 通过消除对显式中间微调或对源数据额外反向传播的需求，降低多任务迁移学习的计算成本。
• 开发一种轻量化、高效的模型，仅通过一次微调过程即可利用混合样本提升模型泛化能力。
• 探究在低数据迁移学习场景下，跨域混合是否比标准数据增强更具优势。

提出的方法

• XMixup 从源数据集中选择与目标数据集每个类别语义对齐的辅助样本。
• 对于每个目标类别，通过使用参数为 α 的 Beta 分布，线性插值目标类别图像与其对应源类别图像，生成混合训练样本。
• 使用混合数据在单次端到端训练过程中微调模型，避免单独的预训练或中间微调步骤。
• 该方法通过监督混合方式利用源域知识，即在 mixup 过程中同时使用源域和目标域标签。
• 在 Beta 分布中使用固定的 β = 1，并通过调节 α 控制源样本与目标样本之间的混合权重。
• 该方法设计为对超参数选择和辅助样本选择策略具有鲁棒性。

实验结果

研究问题

• RQ1 跨域 mixup 是否能比标准数据增强或仅微调更有效地提升迁移学习性能？
• RQ2 通过 mixup 整合源域知识是否能带来优于仅依赖目标数据增强方法的泛化性能？
• RQ3 XMixup 对混合超参数 α 的选择有多敏感？不同领域相似性下的最优 α 范围是什么？
• RQ4 XMixup 的有效性是否源于跨域混合，还是仅使用目标数据进行域内 mixup 也能取得类似效果？
• RQ5 辅助样本的标签信息在 XMixup 中对性能提升的贡献程度如何？

主要发现

• 与最先进方法相比，XMixup 在六个真实世界迁移学习数据集上的分类准确率平均提升 1.9%。
• 该方法在显著减少训练时间的同时，准确率仍高于最先进方法，展现出卓越的效率。
• 性能在广泛的 α 值范围内保持稳定，表明对超参数调优的敏感度较低。
• 移除跨域混合（即仅使用域内 mixup）导致准确率平均下降 2.7%，证明跨域混合至关重要。
• 移除辅助样本的标签导致性能平均下降 5.2%，证实源域知识是 XMixup 取得成功的关键。
• XMixup 对辅助样本选择策略的变化具有鲁棒性，包括从源数据集中随机采样，表明其具备强大的泛化能力。