[论文解读] Word Sense Disambiguation for 158 Languages using Word Embeddings Only

Varvara Logacheva, Денис Тесленко+8 more|MADOC (University of Mannheim)|Mar 14, 2020

Natural Language Processing Techniques参考文献 37被引用 4

一句话总结

本文提出了一种完全无监督、无需知识的词义消歧（WSD）方法，仅使用预训练的fastText词向量。所提出的egvi（自指图向量诱导）算法基于语义相似性对词向量进行聚类，以推导词义词典，从而在无需外部资源的情况下实现158种语言的WSD，已发布模型和在线系统，支持多语言消歧。

ABSTRACT

Disambiguation of word senses in context is easy for humans, but is a major challenge for automatic approaches. Sophisticated supervised and knowledge-based models were developed to solve this task. However, (i) the inherent Zipfian distribution of supervised training instances for a given word and/or (ii) the quality of linguistic knowledge representations motivate the development of completely unsupervised and knowledge-free approaches to word sense disambiguation (WSD). They are particularly useful for under-resourced languages which do not have any resources for building either supervised and/or knowledge-based models. In this paper, we present a method that takes as input a standard pre-trained word embedding model and induces a fully-fledged word sense inventory, which can be used for disambiguation in context. We use this method to induce a collection of sense inventories for 158 languages on the basis of the original pre-trained fastText word embeddings by Grave et al. (2018), enabling WSD in these languages. Models and system are available online.

研究动机与目标

• 开发一种完全无监督的WSD方法，无需外部知识或标注语料。
• 使缺乏词汇资源或标注训练数据的低资源语言实现词义消歧。
• 利用图聚类从预训练的fastText词向量中构建多语言词义词典。
• 发布一个功能完整的多语言WSD系统，支持对158种语言的实时消歧。

提出的方法

• 该方法从预训练的fastText词向量构建语义相似性图，其中节点为词向量，边表示余弦相似度。
• 应用自指图聚类将图划分为密集连接的子图，每个子图代表一个独立的词义。
• 从聚类中心点导出词义向量，通过在上下文中将词分配给最近的词义向量实现消歧。
• 该方法仅使用原始词向量对词义向量进行微调，避免重新训练或使用外部知识。
• 系统通过识别输入文本的语言并应用相应预提取的词义词典，实现对158种语言的实时WSD。
• 该方法具有语言无关性，并利用分布假说在无监督条件下检测多义性。

实验结果

研究问题

• RQ1 能否仅使用预训练词向量，在无需任何外部知识或标注数据的情况下实现词义消歧？
• RQ2 对词向量进行图聚类在多种语言中推导出有意义且一致的词义词典方面效果如何？
• RQ3 无监督词义诱导在低资源设置下的下游NLP任务中能提升多少性能？
• RQ4 能否仅使用预训练词向量且不依赖语言特定资源，将单一方法扩展至158种语言？
• RQ5 所推导的词义向量在多语言相似性基准测试中的表现与非消歧词向量相比如何？

主要发现

• 所提出的egvi算法成功地仅使用预训练的fastText词向量，为158种语言推导出词义词典，且无需任何外部资源。
• 与非消歧词向量相比，该系统在多语言词相似性基准测试中表现更优，证明了词义级别表征的实用性。
• 该方法是迄今为止首个完全无监督的WSD系统，适用于所研究的158种语言中的大多数，尤其对低资源语言具有显著优势。
• 评估结果表明，通过聚类导出的词义向量能提升语义相似度得分，验证了所推导词义词典的质量。
• 发布的词义词典和在线系统支持对全部158种语言的实时WSD，可在多语言NLP流水线中实现实际部署。
• 该方法在平均性能上优于基线非消歧词向量，即使未进行微调或监督。