[论文解读] Unsupervised Cross-lingual Transfer of Word Embedding Spaces

Ruochen Xu, Yiming Yang+2 more|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling被引用 4

一句话总结

该论文提出了一种无监督的跨语言词嵌入迁移方法，通过使用Sinkhorn距离进行分布匹配，并联合优化双向映射与反向翻译损失，实现双语词嵌入空间之间的联合优化。该方法在无任何平行语料或双语词典的情况下，在双语词典归纳和跨语言相似性任务上均取得了最先进性能，展现出在多样化语言对上的强鲁棒性。

ABSTRACT

Cross-lingual transfer of word embeddings aims to establish the semantic mappings among words in different languages by learning the transformation functions over the corresponding word embedding spaces. Successfully solving this problem would benefit many downstream tasks such as to translate text classification models from resource-rich languages (e.g. English) to low-resource languages. Supervised methods for this problem rely on the availability of cross-lingual supervision, either using parallel corpora or bilingual lexicons as the labeled data for training, which may not be available for many low resource languages. This paper proposes an unsupervised learning approach that does not require any cross-lingual labeled data. Given two monolingual word embedding spaces for any language pair, our algorithm optimizes the transformation functions in both directions simultaneously based on distributional matching as well as minimizing the back-translation losses. We use a neural network implementation to calculate the Sinkhorn distance, a well-defined distributional similarity measure, and optimize our objective through back-propagation. Our evaluation on benchmark datasets for bilingual lexicon induction and cross-lingual word similarity prediction shows stronger or competitive performance of the proposed method compared to other state-of-the-art supervised and unsupervised baseline methods over many language pairs.

研究动机与目标

• 解决在缺乏平行语料或双语词典的低资源语言中进行跨语言词嵌入对齐的挑战。
• 开发一种在无任何跨语言监督的情况下，学习单语词嵌入之间语义映射的方法。
• 在跨语言迁移基准上，提升相对于现有无监督和有监督基线方法的鲁棒性和性能。
• 联合优化正向与反向翻译映射，以增强一致性并减少误差累积。

提出的方法

• 该方法使用神经网络计算Sinkhorn距离——一种可微分且定义良好的分布相似性度量——在两个方向上对变换后的词嵌入进行比较。
• 联合优化两个目标：通过Sinkhorn距离实现分布匹配，以及通过反向翻译损失最小化两步翻译后的重建误差。
• 模型通过反向传播端到端训练，其中Sinkhorn距离通过一个可微分神经层实现，近似求解最优传输问题。
• 该框架具有对称性：同时学习从语言A到B和从B到A的变换，确保两个方向的一致性。
• 该方法无需任何平行句子、双语词典或人工标注的监督，完全依赖单语词嵌入。
• 使用变换后嵌入与目标词向量之间的余弦相似度作为下游评估的相似度分数。

实验结果

研究问题

• RQ1 完全无监督的方法是否能在无任何平行数据或双语词典的情况下，实现跨语言词嵌入迁移的竞争力表现？
• RQ2 与单向或基于最近邻的方法相比，使用Sinkhorn距离的双向优化在鲁棒性和准确性方面表现如何？
• RQ3 与仅使用分布匹配相比，使用反向翻译损失是否能提升所学习映射的质量？
• RQ4 该方法在多样化语言对，尤其是低资源语言对上的表现如何？
• RQ5 该模型在标准基准上是否能对容易和困难的语言对均表现出良好的泛化能力？

主要发现

• 所提出的方法在双语词典归纳的LEX-Z基准上实现了最先进性能，优于其他无监督方法，并在多个语言对上匹配或超越了有监督基线。
• 在LEX-C数据集上，该方法仍表现强劲，尤其在de-en和fa-en等更困难的语言对上表现突出。
• 在跨语言词相似性任务（Conneau et al., 2017）上，该模型的皮尔逊相关系数达到0.71，与最佳有监督方法相当，并优于其他无监督模型。
• 该方法在各类语言对和翻译方向上均表现出稳健性能，即使源语言的唯一词数多于目标语言，结果依然一致。
• 与KL散度或最近邻匹配相比，使用Sinkhorn距离能带来更稳定且更高质量的映射，该结论通过消融实验和对比分析得到验证。
• 双向训练方案显著提升了鲁棒性并减少了误差累积，表现为较低的反向翻译损失以及重建嵌入的一致性较高。