[论文解读] Word Sense Disambiguation with LSTM: Do We Really Need 100 Billion Words?

Minh Le, Marten Postma+1 more|arXiv (Cornell University)|Dec 9, 2017

Natural Language Processing Techniques参考文献 17被引用 6

一句话总结

本文仅使用公开数据集和代码，复现了Yuan等人（2016年）基于LSTM的词义消歧（WSD）方法，表明仅使用18亿词的训练语料即可达到最先进（SOTA）的WSD性能——不足原始研究中使用的1000亿词的2%。作者公开发布所有代码和训练好的模型，以支持可复现性与进一步研究。

ABSTRACT

Recently, Yuan et al. (2016) have shown the effectiveness of using Long Short-Term Memory (LSTM) for performing Word Sense Disambiguation (WSD). Their proposed technique outperformed the previous state-of-the-art with several benchmarks, but neither the training data nor the source code was released. This paper presents the results of a reproduction study of this technique using only openly available datasets (GigaWord, SemCore, OMSTI) and software (TensorFlow). From them, it emerged that state-of-the-art results can be obtained with much less data than hinted by Yuan et al. All code and trained models are made freely available.

研究动机与目标

• 使用仅公开可用的数据和代码，复现Yuan等人（2016年）基于LSTM的WSD方法。
• 探究是否真正需要极大规模的训练语料（如1000亿词）才能实现最先进水平的WSD性能。
• 公开完整可复现的代码与训练好的模型，以支持未来研究与基准测试。
• 分析增加训练数据量的收益递减现象，以及模型容量扩展的局限性。

提出的方法

• 在GigaWord语料（18亿词）上训练LSTM语言模型，学习上下文感知的词向量。
• 使用训练好的LSTM提取句子中目标词的上下文向量，将目标词替换为特殊标记$。
• 通过以上下文向量为输入，对词汇表最小化softmax损失，训练词义嵌入。
• 通过计算上下文向量与小型、带词义标注语料（如SemCor或OMSTI）中词义嵌入之间的余弦相似度，执行WSD。
• 对训练数据中未覆盖的罕见词义，采用最常见词义（MFS）回退策略。
• 在SemEval13与Senseval2基准上评估性能，使用F1分数，同时调整训练数据量与模型容量。

实验结果

研究问题

• RQ1 是否可以仅使用远少于1000亿词的未标注文本，实现最先进水平的WSD性能？
• RQ2 随着未标注训练数据量的增加，性能如何变化？是否存在收益递减现象？
• RQ3 增加LSTM模型容量（如隐藏层大小、嵌入维度）是否会在某一点后带来显著性能提升？
• RQ4 模型容量与数据量对WSD系统稳定性与泛化能力有何影响？

主要发现

• 作者仅使用18亿词（不足原始研究1000亿词的2%）即实现了与Yuan等人原始结果相当的WSD性能。
• 在SemEval13上的F1分数达到0.640（当使用GigaWord全部数据训练时），优于许多先前的SOTA系统。
• 增加未标注数据带来的收益呈现递减趋势：每提升1%的F1分数所需的数据量呈指数增长。
• 增加模型容量（如隐藏层大小从100增至256）仅带来微小性能提升，表明单纯扩大参数规模并非提高准确率的有效途径。
• 最常见词义（MFS）回退策略显著提升了对罕见词义的性能，表明其在整体系统鲁棒性中起关键作用。
• 本研究证明，高质量的WSD模型可在标准大学计算资源上训练，而不仅限于大规模工业级计算集群。