[论文解读] Multi-Source Cross-Lingual Model Transfer: Learning What to Share

Xilun Chen, Ahmed Hassan Awadallah+3 more|arXiv (Cornell University)|Oct 8, 2018

Topic Modeling参考文献 48被引用 7

一句话总结

该论文提出 MAN-MoE，一种多源跨语言迁移模型，通过对抗性训练联合学习语言不变特征，并利用专家混合（MoE）机制学习语言特定特征，实现来自多个源语言的知识的动态、选择性共享。该模型通过结合无监督多语言词嵌入，在无需平行语料或跨语言监督的情况下，实现了零资源设置下的最先进性能。

ABSTRACT

Modern NLP applications have enjoyed a great boost utilizing neural networks models. Such deep neural models, however, are not applicable to most human languages due to the lack of annotated training data for various NLP tasks. Cross-lingual transfer learning (CLTL) is a viable method for building NLP models for a low-resource target language by leveraging labeled data from other (source) languages. In this work, we focus on the multilingual transfer setting where training data in multiple source languages is leveraged to further boost target language performance. Unlike most existing methods that rely only on language-invariant features for CLTL, our approach coherently utilizes both language-invariant and language-specific features at instance level. Our model leverages adversarial networks to learn language-invariant features, and mixture-of-experts models to dynamically exploit the similarity between the target language and each individual source language. This enables our model to learn effectively what to share between various languages in the multilingual setup. Moreover, when coupled with unsupervised multilingual embeddings, our model can operate in a zero-resource setting where neither target language training data nor cross-lingual resources are available. Our model achieves significant performance gains over prior art, as shown in an extensive set of experiments over multiple text classification and sequence tagging tasks including a large-scale industry dataset.

研究动机与目标

• 解决现有跨语言迁移方法仅依赖语言不变特征、忽略语言特定相似性的局限性。
• 通过在标记级别基于目标语言相似性动态选择相关源语言，提升多语言迁移学习的性能。
• 在无需平行语料或机器翻译系统的情况下，实现有效的零资源迁移学习。
• 在多样化的 NLP 任务和低资源语言对上，超越现有的无监督和监督跨语言迁移方法。

提出的方法

• 利用对抗性训练在多个源语言和目标语言之间学习语言不变特征。
• 采用带有概率门控机制的专家混合（MoE）模块，动态选择并利用来自各个源语言的语言特定特征。
• 整合无监督多语言词嵌入（例如，Chen & Cardie, 2018b）以实现在无平行数据情况下的零资源训练。
• 使用共享编码器进行输入表示，随后通过对抗性域判别器强制实现特征不变性。
• 应用软注意力风格的门控机制，以确定每个源语言专家在每个标记上的贡献。
• 使用源语言标签的交叉熵损失进行端到端训练，训练过程中不使用目标语言的标注。

实验结果

研究问题

• RQ1 多源跨语言迁移模型能否有效学习在多个源语言之间共享什么内容，同时保留语言特定的模式？
• RQ2 与仅依赖共享特征的模型相比，引入专家混合模块在多语言迁移中如何提升性能？
• RQ3 在无法访问平行语料或机器翻译系统的情况下，模型在多大程度上能实现出色的零资源性能？
• RQ4 该模型是否在多样化的 NLP 任务和语言对上，均优于无监督和监督的跨语言迁移基线模型？

主要发现

• MAN-MoE 在文本分类和序列标注任务上显著优于所有无监督跨语言迁移基线模型，包括在大规模工业数据集上的表现。
• 在德语和法语上，MAN-MoE 的性能与 UMM 方法相当，后者依赖于基于桥梁的平行语料，尽管 MAN-MoE 完全处于零资源设置下。
• 在日语上，MAN-MoE 尽管受限于无监督词嵌入的性能，仍表现出强劲性能，与采用强跨语言监督的最先进模型相比仅相差几个百分点。
• 在 Amazon Reviews 数据集上，MAN-MoE 达到了最先进结果，优于 CL-SCL、CR-RL、Bi-PV 和 UMM 等方法，且无需平行数据。
• 专家门控权重的可视化结果表明，模型能够学习优先选择与目标语言在语言上更接近的源语言，例如英语对德语。
• 当与无监督多语言词嵌入结合时，MAN-MoE 的性能可与使用商业机器翻译系统的模型相媲美或更优，尤其在中文与日语等远距离语言对上表现更佳。