[论文解读] Texts in, meaning out: neural language models in semantic similarity task for Russian

Andrey Kutuzov, И. А. Андреев|arXiv (Cornell University)|Apr 30, 2015

Topic Modeling参考文献 8被引用 30

一句话总结

本文使用俄罗斯国家语料库（RNC）在俄语语义相似度任务上评估了连续跳字模型和连续袋-词模型神经语言模型，结果表明基于RNC的模型优于更大语料库，且在Dialog 2015评估中取得第2至第5名，凸显了RNC在训练高质量俄语语义向量表示方面的有效性。

ABSTRACT

Distributed vector representations for natural language vocabulary get a lot of attention in contemporary computational linguistics. This paper summarizes the experience of applying neural network language models to the task of calculating semantic similarity for Russian. The experiments were performed in the course of Russian Semantic Similarity Evaluation track, where our models took from the 2nd to the 5th position, depending on the task. We introduce the tools and corpora used, comment on the nature of the shared task and describe the achieved results. It was found out that Continuous Skip-gram and Continuous Bag-of-words models, previously successfully applied to English material, can be used for semantic modeling of Russian as well. Moreover, we show that texts in Russian National Corpus (RNC) provide an excellent training material for such models, outperforming other, much larger corpora. It is especially true for semantic relatedness tasks (although stacking models trained on larger corpora on top of RNC models improves performance even more). High-quality semantic vectors learned in such a way can be used in a variety of linguistic tasks and promise an exciting field for further study.

研究动机与目标

• 研究神经语言模型在学习俄语语义表示方面的有效性。
• 评估基于连续跳字和连续袋-词模型的预训练词向量是否能提升俄语语义相似度任务的性能。
• 评估训练语料的质量，特别是俄罗斯国家语料库（RNC）在训练语义向量表示方面的适用性。
• 确定在基于RNC的模型基础上叠加在更大语料库上训练的模型是否能进一步提升性能。
• 为俄语语义相似度共享任务社区贡献工具和模型。

提出的方法

• 在俄罗斯国家语料库（RNC）及其他大规模语料库上训练连续跳字和连续袋-词模型。
• 通过余弦相似度等向量相似度度量方法，利用学习到的词向量计算句子对之间的语义相似度。
• 在Dialog 2015会议的俄语语义相似度评估任务中评估模型性能。
• 比较不同训练语料（包括RNC和更大更广泛的语料库）下的模型性能。
• 通过将基于RNC的模型与在更大语料库上训练的模型进行堆叠，提升性能。
• 采用斯皮尔曼等级相关系数等标准评估指标，用于语义相关性任务。

实验结果

研究问题

• RQ1 连续跳字和连续袋-词模型能否有效学习俄语的语义表示？
• RQ2 与更大更广泛的语料库相比，俄罗斯国家语料库（RNC）是否作为语义相似度任务的更优训练语料？
• RQ3 在基于RNC的模型基础上叠加在更大语料库上训练的模型，能在多大程度上提升语义相似度任务的性能？
• RQ4 基于RNC的模型在共享任务评估中的性能如何与其他模型比较？
• RQ5 能否从RNC中可靠地学习到高质量的语义向量表示，以应用于下游语言学任务？

主要发现

• 在俄罗斯国家语料库（RNC）上训练的连续跳字和连续袋-词模型在俄语语义相似度任务中表现优异。
• RNC语料库在训练语义向量表示方面优于更大语料库，尤其在语义相关性任务中表现更优。
• 基于RNC训练的模型在Dialog 2015俄语语义相似度评估任务中获得第2至第5名，具体名次依任务而异。
• 在基于RNC的模型基础上叠加在更大语料库上训练的模型可进一步提升性能，表明不同语料数据具有互补优势。
• 从RNC学习到的高质量语义向量可有效应用于多种语言学任务，表明其具有广泛适用性。
• 结果证实，即使与更大语料库相比，RNC仍是训练俄语语义表示的高效且极具成效的资源。