[论文解读] Zero-Resource Multilingual Model Transfer: Learning What to Share

Xilun Chen, Ahmed Hassan Awadallah+3 more|arXiv (Cornell University)|Sep 27, 2018

Topic Modeling被引用 17

一句话总结

该论文提出了一种多语言迁移学习模型，通过对抗性训练和专家混合架构，联合利用语言不变特征与语言特定特征，实现在无目标语言数据或跨语言资源情况下的有效零资源迁移。该模型在多个文本分类和序列标注任务中达到最先进性能，包括一个大规模工业数据集。

ABSTRACT

Modern NLP applications have enjoyed a great boost utilizing neural networks models. Such deep neural models, however, are not applicable to most human languages due to the lack of annotated training data for various NLP tasks. Cross-lingual transfer learning (CLTL) is a viable method for building NLP models for a low-resource target language by leveraging labeled data from other (source) languages. In this work, we focus on the multilingual transfer setting where training data in multiple source languages is leveraged to further boost target language performance. Unlike most existing methods that rely only on language-invariant features for CLTL, our approach coherently utilizes both language-invariant and language-specific features at instance level. Our model leverages adversarial networks to learn language-invariant features, and mixture-of-experts models to dynamically exploit the similarity between the target language and each individual source language. This enables our model to learn effectively what to share between various languages in the multilingual setup. Moreover, when coupled with unsupervised multilingual embeddings, our model can operate in a zero-resource setting where neither target language training data nor cross-lingual resources are available. Our model achieves significant performance gains over prior art, as shown in an extensive set of experiments over multiple text classification and sequence tagging tasks including a large-scale industry dataset.

研究动机与目标

• 解决缺乏标注训练数据的低资源语言构建有效NLP模型的挑战。
• 通过在实例层面一致整合语言不变特征与语言特定特征，改进多语言迁移学习。
• 实现在无任何标注目标语言数据或跨语言资源情况下的零资源学习。
• 基于与目标语言的相似性，动态确定应利用哪些源语言。
• 在低资源设置下，实现多语言文本分类与序列标注任务的卓越性能。

提出的方法

• 使用对抗性网络学习多个源语言之间的语言不变表示。
• 采用专家混合架构，根据源语言与目标语言的相似性，动态选择并加权各个源语言的贡献。
• 在实例层面结合语言不变特征与语言特定特征，以提升表征学习效果。
• 利用无监督多语言嵌入实现零资源运行，无需平行语料或标注的目标语言样本。
• 通过联合目标端到端训练模型，同时优化共享特征与语言特定特征的学习。
• 使用共享编码器搭配任务特定头，以支持多种下游NLP任务。

实验结果

研究问题

• RQ1 在多语言迁移学习设置中，如何有效学习在多个源语言之间共享的内容？
• RQ2 语言不变特征与语言特定特征在多大程度上可联合优化以提升零资源迁移性能？
• RQ3 专家混合机制能否动态识别并利用与目标语言最相关的源语言？
• RQ4 当完全缺乏标注目标数据或跨语言资源时，模型表现如何？
• RQ5 将对抗性训练与动态专家选择机制结合，对多语言NLP性能有何影响？

主要发现

• 该模型在多个文本分类与序列标注基准上显著优于先前最先进方法。
• 语言不变特征与语言特定特征的整合，使低资源设置下的表征更加鲁棒且更具适应性。
• 专家混合组件能有效识别并优先选择与每个目标语言实例最相关的源语言。
• 该模型在零资源设置下成功运行，既无需标注目标数据，也无需跨语言资源。
• 该方法在大规模工业数据集上表现出强大泛化能力，证实其实际适用性。
• 用于语言不变特征学习的对抗性训练增强了跨语言对齐效果，且无需平行句子。