[论文解读] sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings

Andrew Trask, Phil Michalak+1 more|arXiv (Cornell University)|Nov 19, 2015

Natural Language Processing Techniques参考文献 13被引用 137

一句话总结

本文提出 sense2vec，一种利用有监督词性标注实现上下文相关词向量表示的快速且准确的词义消歧方法，从而在神经网络词向量中实现词义消歧。该方法在六种语言的神经依赖解析中，使无标签依存分数平均降低超过 8%，证明了经过词义消歧的词向量相比标准单向量模型能显著提升句法解析性能。

ABSTRACT

Neural word representations have proven useful in Natural Language Processing (NLP) tasks due to their ability to efficiently model complex semantic and syntactic word relationships. However, most techniques model only one representation per word, despite the fact that a single word can have multiple meanings or "senses". Some techniques model words by using multiple vectors that are clustered based on context. However, recent neural approaches rarely focus on the application to a consuming NLP algorithm. Furthermore, the training process of recent word-sense models is expensive relative to single-sense embedding processes. This paper presents a novel approach which addresses these concerns by modeling multiple embeddings for each word based on supervised disambiguation, which provides a fast and accurate way for a consuming NLP model to select a sense-disambiguated embedding. We demonstrate that these embeddings can disambiguate both contrastive senses such as nominal and verbal senses as well as nuanced senses such as sarcasm. We further evaluate Part-of-Speech disambiguated embeddings on neural dependency parsing, yielding a greater than 8% average error reduction in unlabeled attachment scores across 6 languages.

研究动机与目标

• 解决单向量词向量将多个词义混合作为单一叠加表示的局限性，这种表示方式会损害下游 NLP 任务的性能。
• 通过用有监督标注替代无监督聚类，降低词义建模的计算成本，从而实现更快的训练和推理速度。
• 通过提供上下文相关的、经过词义消歧的词向量，提升神经句法解析的准确性。
• 评估词义消歧的词向量是否在多语言依存解析任务中优于标准词向量。
• 证明有监督消歧能够高效且有效地为 NLP 模型选择合适的词向量。

提出的方法

• 该方法使用预训练的词向量模型，并应用有监督的词性标注器，为每个词的出现赋予其语法词义。
• 对于每个词，使用 tf-idf 加权计算其上下文词向量的加权平均。
• 对每个词的上下文向量进行聚类，以识别不同的词义原型，聚类标签通过有监督的词性标注分配。
• 将每个词的出现重新标记为对应的词义聚类，并使用带有词义标签的结构化 skip-gram 方法训练新的词向量模型。
• 最终的词向量使用与基线模型相同的超参数进行训练，以确保公平比较。
• 该方法将特定词义的词向量直接集成到使用标准词性标签作为输入索引的神经依赖解析器中。

实验结果

研究问题

• RQ1 使用词性标签进行有监督词义消歧，是否能产生比传统单向量模型更准确且更高效的词向量？
• RQ2 使用词义消歧的词向量是否能在多种语言中带来可测量的句法解析性能提升？
• RQ3 sense2vec 的计算成本与基于无监督聚类的词义模型相比如何？
• RQ4 词义消歧的词向量在多大程度上改善了对比性与细微词义的区分能力，例如名词性与动词性，或讽刺语气的识别？
• RQ5 该方法能否推广到除词性标签之外的其他类型有监督标签？

主要发现

• 在六种语言的依存解析中，sense2vec 在无标签依存分数上实现了平均 8.52% 的误差降低，各语言的降低幅度在 3.98% 到 13.69% 之间。
• 在瑞典语中，解析误差降低了 12.71%；在德语中降低了 13.69%，表明在词形丰富的语言中性能提升显著。
• 该模型在所有六种语言中均优于基线的 wang2vec 词向量，绝对误差降低幅度在 2.47% 到 14.54% 之间。
• 使用 sense2vec 词向量使保加利亚语的误差降低了 5.17%，德语降低了 10.93%，表明在不同语言结构中均保持了稳定的性能提升。
• 即使在从语料库中移除格式错误的词元后，该方法仍保持高性能，表明其在真实 NLP 流程中的鲁棒性。
• 结果证实，将词义分离为独立的词向量可缓解向量叠加问题，并提升下游 NLP 模型的准确性。