[论文解读] Polyglot: Distributed Word Representations for Multilingual NLP

Rami Al‐Rfou, Bryan Perozzi+1 more|arXiv (Cornell University)|Jul 5, 2013

Natural Language Processing Techniques参考文献 29被引用 308

一句话总结

本文介绍了 Polyglot，一种多语言词嵌入系统，通过使用维基百科语料库对 117 种语言进行训练，学习分布式表示。通过利用高效的深度神经网络进行无监督学习，该嵌入在词性标注任务上实现了具有竞争力的性能——在英语、丹麦语和瑞典语中达到或超过当前最先进水平，同时保留了诸如大小写敏感性等语言特异性特征。

ABSTRACT

Distributed word representations (word embeddings) have recently contributed to competitive performance in language modeling and several NLP tasks. In this work, we train word embeddings for more than 100 languages using their corresponding Wikipedias. We quantitatively demonstrate the utility of our word embeddings by using them as the sole features for training a part of speech tagger for a subset of these languages. We find their performance to be competitive with near state-of-art methods in English, Danish and Swedish. Moreover, we investigate the semantic features captured by these embeddings through the proximity of word groupings. We will release these embeddings publicly to help researchers in the development and enhancement of multilingual applications.

研究动机与目标

• 开发一种可扩展的无监督方法，用于学习多语言词表示，且无需专家语言学知识。
• 解决多语言自然语言处理中的瓶颈问题，即需要进行语言特定的特征工程和手动调优。
• 创建一个公开可用的高质量多语言嵌入资源，以支持跨语言研究和系统开发。
• 在多种资源水平各异的语言上，于标准自然语言处理任务（词性标注）上评估这些嵌入的实用性。
• 研究嵌入所捕捉的语言和语义特性，包括跨语言的句法和语义类比关系。

提出的方法

• 在 117 种语言（每种语言维基百科文章数超过 10,000 篇）的单语语料库上，使用带有负采样的 skip-gram 模型训练连续分布式词嵌入。
• 保留欧洲语言的大小写敏感性（例如，不全部小写化），以保留语言特征，与以往专注于英语的方法不同。
• 使用具有上下文窗口的神经网络架构，预测周围词语，学习每个词语的稠密向量表示。
• 利用 Theano 中的优化技术，实现在多种语言大规模语料上的高效训练。
• 使用预训练嵌入初始化词性标注器，并在标注数据上进行微调，以评估特征的实用性。
• 通过将未登录词（OOV）统一替换为单个 <UNK> 标记，评估嵌入在 OOV 处理上的鲁棒性。

实验结果

研究问题

• RQ1 在无语言特定特征工程的前提下，仅基于维基百科单语语料库训练的无监督词嵌入是否能在多种语言的词性标注任务上实现具有竞争力的性能？
• RQ2 所学习的嵌入在多大程度上捕捉了多种语言之间的有意义的语义和句法关系？
• RQ3 嵌入性能如何随训练语料规模变化，特别是在低资源语言中？
• RQ4 与仅针对英语设计的全小写化策略相比，保留欧洲语言嵌入中的大小写敏感性有何影响？
• RQ5 在低资源设置下，这些嵌入作为下游自然语言处理任务的初始化特征，其有效性如何？

主要发现

• Polyglot 嵌入在词性标注任务上实现了具有竞争力的准确率——在英语、丹麦语和瑞典语中达到或超过当前最先进模型的性能，即使未进行语言特定调优。
• 在英语中，该模型优于 TnT 标注器，在词元覆盖率上达到 98.06% 的测试准确率，在词覆盖率上达到 79.73%，比随机初始化的标注器高出 0.25%。
• 对于保加利亚语和斯洛文尼亚语等低资源语言，嵌入仍表现出强劲性能：保加利亚语在词元覆盖率上达到 94.58%，在词覆盖率上达到 77.70%，相比随机基线仅下降 2.01%。
• 尽管德语和捷克语的维基百科文章数量较少，但其在已知词上的准确率仍超过 98.5%，表明所学特征即使在数据有限的情况下也具有鲁棒性。
• 所有语言的标注性能均显著提升，尤其在低资源设置下增益最大，例如斯洛文尼亚语相比随机初始化的性能提升了 2.68% 的准确率。
• 在跨领域词性标注数据集上，嵌入的词汇覆盖率因语言而异，英语达到 98.06% 的词元覆盖率，斯洛文尼亚语为 95.33%，反映出领域偏移和词汇重叠的差异。