[论文解读] Persian Wordnet Construction using Supervised Learning

Zahra Mousavi, Heshaam Faili|arXiv (Cornell University)|Apr 11, 2017

Natural Language Processing Techniques被引用 3

一句话总结

本文提出一种监督式机器学习方法，通过双语词典和波斯语语料库，将波斯语词汇自动链接至普林斯顿WordNet的同义词集（synsets），从而自动生成波斯语WordNet。该方法以FarsNet作为正样本进行训练，采用七种特征的分类器，达到91.18%的精确率，最终构建出包含超过16,000个词汇和22,000个同义词集的词典，代表了波斯语词典构建领域的最先进性能。

ABSTRACT

This paper presents an automated supervised method for Persian wordnet construction. Using a Persian corpus and a bi-lingual dictionary, the initial links between Persian words and Princeton WordNet synsets have been generated. These links will be discriminated later as correct or incorrect by employing seven features in a trained classification system. The whole method is just a classification system, which has been trained on a train set containing FarsNet as a set of correct instances. State of the art results on the automatically derived Persian wordnet is achieved. The resulted wordnet with a precision of 91.18% includes more than 16,000 words and 22,000 synsets.

研究动机与目标

• 为解决波斯语缺乏大规模、高精度词典资源的问题，构建一个全面的波斯语WordNet。
• 通过监督学习自动对齐波斯语词汇与普林斯顿WordNet中的同义词集。
• 提升波斯语WordNet构建的效率与可扩展性，超越人工或基于规则的方法。
• 通过可训练的分类系统，实现自动波斯语WordNet构建的最先进性能。

提出的方法

• 利用波斯语语料库和双语词典，生成初始的词-同义词集链接，将波斯语词汇映射至普林斯顿WordNet的同义词集。
• 提取七种语言学与分布特征，以表征每个候选的词-同义词集对。
• 在标注的训练集上训练监督分类模型，其中FarsNet作为正确链接的黄金标准。
• 训练后的分类器可区分正确的与错误的词-同义词集映射，从而优化初始链接集合。
• 该方法依赖特征工程与监督学习，最大限度减少人工标注工作量。
• 最终通过训练分类器的预测结果，对初始链接进行过滤，构建最终的词典。

实验结果

研究问题

• RQ1 监督学习方法能否有效实现高精度的波斯语WordNet自动构建？
• RQ2 在FarsNet上训练的分类器，对新的、未见过的波斯语词-同义词集对的泛化能力如何？
• RQ3 哪组特征能在区分波斯语中正确与错误的词-同义词集对齐方面实现最优性能？
• RQ4 双语词典与单语语料库在多大程度上可支持自动词典构建，而无需大量人工标注？
• RQ5 使用该方法构建的自动波斯语WordNet所能达到的精确率与覆盖范围是多少？

主要发现

• 所提方法在自动构建的波斯语WordNet上实现了91.18%的精确率。
• 最终词典包含超过16,000个词汇和22,000个同义词集，显示出高覆盖率。
• 在监督分类器中使用七种人工设计的特征，显著提升了对齐准确率，优于基线方法。
• 该系统优于以往方法，在波斯语WordNet构建领域建立了新的最先进水平。
• FarsNet作为训练分类器的有效黄金标准，实现了高质量的自动扩展。
• 该方法显著减少了对人工标注的依赖，实现了可扩展且高效的词典构建。