[论文解读] On the Robustness of Unsupervised and Semi-supervised Cross-lingual Word Embedding Learning

Yerai Doval, José Camacho-Collados+2 more|arXiv (Cornell University)|Aug 21, 2019

Topic Modeling参考文献 43被引用 15

一句话总结

本文评估了无监督和半监督跨语言词嵌入方法在多种语言对、训练语料和监督水平下的鲁棒性。研究发现，对于词形复杂或语言类型差异较大的语言，仅靠少量监督往往无法获得高质量的嵌入，这挑战了‘最小监督足以实现稳健的跨语言对齐’的假设。

ABSTRACT

Cross-lingual word embeddings are vector representations of words in different languages where words with similar meaning are represented by similar vectors, regardless of the language. Recent developments which construct these embeddings by aligning monolingual spaces have shown that accurate alignments can be obtained with little or no supervision. However, the focus has been on a particular controlled scenario for evaluation, and there is no strong evidence on how current state-of-the-art systems would fare with noisy text or for language pairs with major linguistic differences. In this paper we present an extensive evaluation over multiple cross-lingual embedding models, analyzing their strengths and limitations with respect to different variables such as target language, training corpora and amount of supervision. Our conclusions put in doubt the view that high-quality cross-lingual embeddings can always be learned without much supervision.

研究动机与目标

• 评估最先进跨语言词嵌入模型在不同语言对、训练语料和监督水平等多样化条件下的鲁棒性。
• 探究在非理想设置下，是否能通过极少或无监督可靠地学习到高质量的跨语言词嵌入。
• 评估模型在具有显著形态或类型差异的语言对（如英语-芬兰语、英语-波斯语）上的表现。
• 考察噪声较大的非维基百科语料（如社交媒体文本）对嵌入质量及对齐性能的影响。
• 在多个评估任务和语言对上，比较多种对齐策略和模型（如VecMap、MUSE、Meemi）的表现。

提出的方法

• 在三种对齐策略下评估了四种跨语言嵌入模型：VecMap、MUSE、Meemi VM 和 Meemi MS，包括使用双语词典的监督方法、无监督方法以及相同的词典初始化方法。
• 在三种不同类型的单语语料上训练模型：维基百科、网络爬取文本和社交媒体文本，以评估语料质量的影响。
• 在三个任务上评估性能：双语词典归纳（BLI）、跨语言词相似度（SemEval-17）和词翻译检索。
• 使用不同数量的监督数据：8K、1K 和 100 对双语词典词对，以及无词典的无监督基线。
• 使用皮尔逊相关系数和斯皮尔曼等级相关系数衡量词相似度任务的性能，使用 top-1、top-5 和 top-10 准确率衡量词翻译任务的性能。
• 在五个语言对上比较模型表现：英语-西班牙语、英语-意大利语、英语-德语、英语-波斯语和英语-芬兰语，涵盖多种语言家族和书写系统。

实验结果

研究问题

• RQ1 当在噪声较大的非维基百科语料（如社交媒体文本）上训练时，跨语言词嵌入模型的表现如何？
• RQ2 对于具有显著形态或类型差异的语言对（如英语-芬兰语、英语-波斯语），性能下降的程度如何？
• RQ3 在少于100对平行词对的情况下，是否能可靠地实现高质量的跨语言对齐？还是需要更多监督才能实现稳健性能？
• RQ4 在不同语言对和语料类型下，不同对齐策略（监督 vs. 无监督）的表现如何比较？
• RQ5 所选单语语料类型（维基百科 vs. 网络文本 vs. 社交媒体）是否显著影响跨语言词嵌入的质量？

主要发现

• 在英语-波斯语和英语-芬兰语对上，使用较小词典时性能显著下降：MUSE在100对词对下分别仅达到47.7%和47.9%的top-1准确率，而使用8K对词对时则超过70%。
• 在社交媒体语料上，无监督模型（如MUSE和Meemi MS）性能急剧下降，其在英语-西班牙语上的top-1准确率分别降至9.9%和12.4%。
• VecMap在所有语料和语言对上均持续优于其他模型，在维基百科语料上，即使使用100对词对，所有语言对的top-1准确率均超过70%。
• 在网页爬取语料上训练的模型表现中等，但在波斯语和芬兰语上性能急剧下降，MUSE在词相似度任务上的皮尔逊相关系数分别仅为29.7%和17.5%。
• 无监督基线在非印欧语系语言上表现极差，Meemi MS在英语-波斯语对上使用100对词对时，top-1准确率仅为0.0%，表明缺乏监督时泛化能力有限。
• 即使使用8K对词对，MUSE在英语-波斯语上的top-1准确率也仅达59.2%，表明语言距离严重限制了对齐质量，无论监督规模如何。