[论文解读] Refinement of Unsupervised Cross-Lingual Word Embeddings

Magdalena Biesialska, Marta R. Costa‐jussà|arXiv (Cornell University)|Feb 21, 2020

Topic Modeling参考文献 23被引用 4

一句话总结

本文提出一种自监督微调方法，用于无监督跨语言词嵌入，可在无需双语监督的情况下提升对齐效果。通过利用一个小规模自学习的种子词典并强制实施长度不变性和中心不变性，该方法在多个语言对的双语词典归纳任务中优于当前最先进方法，尤其在芬兰语和德语等形态丰富的语言上表现突出。

ABSTRACT

Cross-lingual word embeddings aim to bridge the gap between high-resource and low-resource languages by allowing to learn multilingual word representations even without using any direct bilingual signal. The lion's share of the methods are projection-based approaches that map pre-trained embeddings into a shared latent space. These methods are mostly based on the orthogonal transformation, which assumes language vector spaces to be isomorphic. However, this criterion does not necessarily hold, especially for morphologically-rich languages. In this paper, we propose a self-supervised method to refine the alignment of unsupervised bilingual word embeddings. The proposed model moves vectors of words and their corresponding translations closer to each other as well as enforces length- and center-invariance, thus allowing to better align cross-lingual embeddings. The experimental results demonstrate the effectiveness of our approach, as in most cases it outperforms state-of-the-art methods in a bilingual lexicon induction task.

研究动机与目标

• 解决正交变换方法在跨语言嵌入对齐中的局限性，这类方法假设向量空间同构，但对形态丰富的或语系差异大的语言并不成立。
• 通过在不依赖平行语料或大型双语词典的前提下微调嵌入，提升无监督跨语言词嵌入的质量。
• 开发一种自监督微调框架，利用一个小规模自动学习的种子词典，在共享向量空间中引导对齐。
• 通过强制实施长度不变性和中心不变性，增强嵌入的鲁棒性，缓解语言向量空间中非完美同构带来的问题。
• 在标准双语词典归纳基准上，持续优于当前最先进无监督方法。

提出的方法

• 提出一种自监督微调框架，从单语语料中自动提取的小规模种子词典中学习。
• 在共享空间中应用线性变换对齐源语言和目标语言的嵌入，通过约束确保向量为单位长度且中心位于原点。
• 引入损失函数，最小化共享空间中词向量与其对应翻译之间的距离。
• 通过将所有向量归一化为单位长度实现长度不变性，通过确保嵌入空间的质心位于原点实现中心不变性。
• 使用梯度下降优化变换矩阵，提升对齐效果，且无需显式双语监督。
• 在评估过程中使用CSLS（基于质心的相似性学习）方法进行最近邻检索，确保与基线方法的公平比较。

实验结果

研究问题

• RQ1 自监督微调方法是否能在不依赖任何平行语料或双语数据的前提下，提升无监督跨语言词嵌入？
• RQ2 所提方法在处理非同构语言对（尤其是形态丰富的语言如芬兰语和德语）时效果如何？
• RQ3 在共享嵌入空间中强制实施长度不变性和中心不变性，是否能带来优于标准正交变换的对齐效果？
• RQ4 与当前最先进无监督及弱监督CLE模型相比，该方法在标准基准任务上的性能如何？
• RQ5 一个小规模自学习的种子词典是否足以有效引导无监督CLE的微调？

主要发现

• 在英语-西班牙语和英语-芬兰语对上，所提方法在双语词典归纳任务中优于无监督VecMap基线，P@1得分更高。
• 在英语-德语对上，方法与基线表现相当，表明即使在形态复杂的语言设置中也具有鲁棒性。
• 当应用于无监督CLE时，该方法优于原本为有监督设置设计的IterNorm微调技术，表明在低资源场景下具有更优的泛化能力。
• 使用自学习的种子词典显著提升了对齐质量，表明即使小规模自动提取的双语信号也能有效引导微调。
• 长度不变性和中心不变性约束的结合带来了更稳定、更准确的跨语言对齐，尤其在同构性假设失效时表现更优。
• 该模型在几乎所有评估的语言对上均达到基准数据集的最先进性能，证实了自监督微调策略的有效性。