[论文解读] Multi-Source Domain Adaptation with Mixture of Experts

Jiang Guo, Darsh Shah+1 more|arXiv (Cornell University)|Sep 7, 2018

Domain Adaptation and Few-Shot Learning参考文献 33被引用 4

一句话总结

本文提出了一种用于无监督多源域自适应的专家混合（MoE）框架，通过在隐表示空间中基于马氏距离的可学习点到集合度量，建模目标样本与多个源域之间的关系。该度量通过元训练进行训练，无需目标标签，从而在亚马逊评论数据集上实现7%的相对误差降低，在SANCL POS标注任务上实现13%的降低，同时有效缓解了来自无关源域的负迁移问题。

ABSTRACT

We propose a mixture-of-experts approach for unsupervised domain adaptation from multiple sources. The key idea is to explicitly capture the relationship between a target example and different source domains. This relationship, expressed by a point-to-set metric, determines how to combine predictors trained on various domains. The metric is learned in an unsupervised fashion using meta-training. Experimental results on sentiment analysis and part-of-speech tagging demonstrate that our approach consistently outperforms multiple baselines and can robustly handle negative transfer.

研究动机与目标

• 为解决在存在多个异构源域时的领域偏移问题，尤其是在无监督多源域自适应场景下。
• 显式建模不同源域对单个目标样本的相关性差异，而非将其一视同仁地对待。
• 学习一种点到集合度量，以无监督方式捕捉样本与领域之间的关系，避免来自无关源域的负迁移。
• 通过基于学习度量的注意力式权重组合领域特定专家，提升自适应性能。
• 在包含噪声或无关源域（如推特）的情况下，展示对负迁移的鲁棒性，特别是在POS标注任务中。

提出的方法

• 该方法采用专家混合（MoE）架构，其中每个专家是基于单一源域训练的模型，预测结果通过加权和的方式组合。
• 权重（α）由基于目标样本与每个源域中样本集合之间在隐表示空间中的马氏距离的点到集合度量确定。
• 该度量通过元训练过程学习：在每个元任务中，一个源域被视为元目标，其余源域作为元源域，通过在元目标上优化MoE损失来联合训练模型与度量。
• 应用对抗性训练以对齐源域与目标域的隐表示，减少领域偏移。
• 对α应用熵正则化，以防止对单一源域的过度自信选择，提升泛化能力。
• 模型通过反向传播进行端到端训练，且无需目标域的标注数据。

实验结果

研究问题

• RQ1 可学习的、无监督的点到集合度量是否能通过捕捉样本特定的源相关性，改善多源域自适应？
• RQ2 与单源及统一多源基线相比，所提出的MoE模型在准确率和鲁棒性方面表现如何？
• RQ3 当引入无关或噪声较大的源域（如推特）时，该模型是否能有效缓解负迁移？
• RQ4 元训练是否能在无目标域标注的情况下实现有效的度量学习？
• RQ5 当问题源域（如推特）的数据量增加时，性能是否保持稳定？

主要发现

• 在亚马逊评论数据集上，所提出的MoE模型相比最佳单源基线实现了7%的相对误差降低。
• 在SANCL POS标注数据集上，MoE模型实现了13%的相对误差降低，优于所有基线模型。
• 带有对抗性训练的MoE-A变体在SANCL上实现了90.11%的最高平均准确率，优于某些场景下的类oracle统一模型（uni-MS-A）。
• 该模型能有效降低对无关源域的关注：在目标域上，Twitter的α权重平均降至5.3%，表明已实现对负迁移的有学习过滤。
• 随着推特训练样本数量的增加，统一模型（uni-MS-A）性能下降，而MoE-A模型保持稳定并持续提升性能，显示出对噪声数据的鲁棒性。
• 消融实验表明，熵正则化在非对抗和对抗设置下均能提升性能，增强模型泛化能力。