[论文解读] Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation

Loïc Vial, Benjamin Lecouteux+1 more|arXiv (Cornell University)|May 14, 2019

Natural Language Processing Techniques参考文献 24被引用 8

一句话总结

本文提出了两种利用 WordNet 语义关系（如上下位关系和下位关系）进行词义消歧（WSD）系统中词义标签压缩的方法，以减少词义标签的数量。通过仅关注关键词义，该方法使模型大小减少 1.2–2 倍，将 SemCor 上的覆盖率达到 99.99%，并可在不使用额外训练数据的情况下实现 SOTA 性能，结合 BERT 嵌入。

ABSTRACT

In this article, we tackle the issue of the limited quantity of manually sense annotated corpora for the task of word sense disambiguation, by exploiting the semantic relationships between senses such as synonymy, hypernymy and hyponymy, in order to compress the sense vocabulary of Princeton WordNet, and thus reduce the number of different sense tags that must be observed to disambiguate all words of the lexical database. We propose two different methods that greatly reduces the size of neural WSD models, with the benefit of improving their coverage without additional training data, and without impacting their precision. In addition to our method, we present a WSD system which relies on pre-trained BERT word vectors in order to achieve results that significantly outperform the state of the art on all WSD evaluation tasks.

研究动机与目标

• 通过减少所需词义标签的数量，缓解人工标注 WSD 语料库稀缺的问题。
• 在不增加额外训练数据的前提下，提升监督式 WSD 模型的泛化能力和覆盖范围。
• 通过使用压缩后的词义词典，消除 WSD 中对回退策略的依赖，实现近乎完整的词义覆盖。
• 利用预训练上下文嵌入（如 BERT）实现 WSD 的 SOTA 性能。
• 开发一个可复用、有文档记录的工具与模型，用于训练和评估神经网络 WSD 系统。

提出的方法

• 通过 WordNet 的语义图，仅选择关键词义（特别是上下位词）来构建压缩后的词义词典。
• 应用两种压缩策略：一种仅基于上下位关系，另一种使用所有语义关系（上下位、下位、整体-部分关系等）。
• 在 SemCor 与 WordNet 描述（WNGC）的组合数据上，使用 BERT、ELMo 或 GloVe 嵌入训练神经网络 WSD 模型，以提升上下文表征能力。
• 通过集成八个独立训练的模型来提升鲁棒性与性能，最终预测通过平均类别概率获得。
• 利用 WordNet 中的语义层级结构，将语义相关的词义聚类，使单个词义可代表一组相关含义。
• 在训练与推理阶段均应用压缩后的词义词典，使模型即使在原始训练数据中未出现的词也能进行消歧。

实验结果

研究问题

• RQ1 能否利用 WordNet 中的语义关系在不损失消歧准确率的前提下压缩词义词典？
• RQ2 词义词典压缩在多大程度上能提升监督式 WSD 模型对未见词汇的覆盖能力？
• RQ3 使用压缩后的词义词典是否能在保持或提升性能的同时减小模型大小？
• RQ4 将 BERT 嵌入与词义词典压缩相结合，对标准基准测试中的 WSD 性能有何影响？
• RQ5 所提出的方法能否消除 WSD 系统中对回退策略的需求？

主要发现

• 所提出的词义词典压缩方法将 WordNet 中的总词义标签数量减少至原始大小的 6%。
• 在使用压缩词义词典时，SemCor 训练语料的覆盖范围从约 16% 提升至 99.99% 以上，仅有一个词在评估集中缺失。
• 当结合 WNGC（WordNet 描述）时，系统在评估任务中对多义词实现了 100% 的覆盖。
• 使用基于上下位关系的压缩与集成策略时，BERT 嵌入使 'ALL' 任务的 F1 得分提升至 79.00%，显著优于之前的 SOTA 方法。
• 由于压缩后的词义词典，模型大小减少了 1.2 至 2 倍，且精度未下降。
• 消融实验表明，BERT 嵌入与 WNGC 数据的引入对性能提升最大，而集成策略使 F1 得分额外提升约 1 分。