[论文解读] Unsupervised Multilingual Word Embeddings

Xilun Chen, Claire Cardie|arXiv (Cornell University)|Aug 27, 2018

Topic Modeling参考文献 15被引用 9

一句话总结

本文提出了一种完全无监督的多语言词嵌入框架 MAT + MPSR，通过对抗性训练和伪监督微调，联合学习所有语言对之间的跨语言词表示，利用语言对之间的相互依赖关系。该方法在多语言词翻译和跨语言相似性任务上优于所有无监督基线方法以及最先进的有监督方法，尤其在缺乏平行语料的低资源语言（如波斯语）上表现突出。

ABSTRACT

Multilingual Word Embeddings (MWEs) represent words from multiple languages in a single distributional vector space. Unsupervised MWE (UMWE) methods acquire multilingual embeddings without cross-lingual supervision, which is a significant advantage over traditional supervised approaches and opens many new possibilities for low-resource languages. Prior art for learning UMWEs, however, merely relies on a number of independently trained Unsupervised Bilingual Word Embeddings (UBWEs) to obtain multilingual embeddings. These methods fail to leverage the interdependencies that exist among many languages. To address this shortcoming, we propose a fully unsupervised framework for learning MWEs that directly exploits the relations between all language pairs. Our model substantially outperforms previous approaches in the experiments on multilingual word translation and cross-lingual word similarity. In addition, our model even beats supervised approaches trained with cross-lingual resources.

研究动机与目标

• 解决现有无监督多语言词嵌入方法将语言独立处理、忽略多语言之间相互依赖关系的局限性。
• 开发一种完全无监督的框架，利用所有语言对之间的共享语言结构，无需双语监督或平行语料。
• 通过显式建模所有语言对之间的关系，而非依赖单一枢纽语言或成对模型，提升多语言嵌入质量。
• 在不使用任何跨语言平行数据的前提下，实现在多语言词翻译和跨语言相似性任务上的最先进性能。
• 证明无监督多语言模型在缺乏平行数据或平行数据存在噪声的低资源语言对上，可超越有监督模型。

提出的方法

• 该方法采用两阶段框架：多语言对抗训练（MAT），通过对抗学习最小化多种语言之间单语词嵌入的分布差异，实现跨语言对齐。
• MAT 使用共享判别器来区分源语言和目标语言的嵌入，促使生成器学习生成在不同语言间无法区分的多语言表示。
• 第二阶段为多语言伪监督微调（MPSR），利用对抗对齐后的嵌入生成伪平行对，并通过对比损失对模型进行微调，以提升对齐效果。
• 该框架同时联合优化所有语言对，捕捉了枢纽法或仅成对方法无法实现的跨语言依赖关系。
• 模型仅使用单语语料进行训练，输入仅为预训练的单语词嵌入，无需平行句子或双语词典。
• 该方法通过将对抗对齐扩展至 N 个语言，将先前的无监督双语词嵌入技术推广至多语言场景。

实验结果

研究问题

• RQ1 完全无监督的多语言词嵌入模型能否超越依赖单一枢纽语言或独立成对模型的现有无监督基线方法？
• RQ2 显式建模所有语言对之间的相互依赖关系，是否能提升多语言表示质量，相比独立或枢纽法方法？
• RQ3 无监督多语言模型能否实现与使用大规模平行语料的有监督方法相当或更优的性能？
• RQ4 在平行数据稀缺或缺失的低资源语言上，该模型表现如何？
• RQ5 多语言训练框架在语言上相似但基线方法未直接配对的语言对上，能在多大程度上提升对齐效果？

主要发现

• 所提出的 MAT + MPSR 模型在多语言词翻译任务上达到最先进性能，优于 BWE-Pivot 和 BWE-Direct 基线方法。
• 在 SemEval-2017 跨语言词相似性基准上，MAT + MPSR 达到 0.718 的斯皮尔曼等级相关系数，超越有监督的 NASARI 模型，并接近表现最佳的有监督系统 Luminoso。
• 在涉及波斯语的语言对上，该模型显著优于所有无监督方法，尤其在有监督模型无法访问 Europarl 平行语料的情况下，凸显其在低资源语言上的优势。
• 在波斯语-英语和波斯语-德语对上，该模型性能甚至超过有监督的 Luminoso 系统，表明当平行数据有限或存在噪声时，无监督学习可能更具优势。
• MAT + MPSR 与基线方法之间的性能差距在低资源语言对上最为显著，验证了模型有效利用多语言知识的能力。
• 该方法在所有语言对上均保持强劲表现，包括语言差异较大的组合，表明其对语言多样性的鲁棒性。