[论文解读] Nefnir: A high accuracy lemmatizer for Icelandic

Svanhvít Lilja Ingólfsdóttir, Hrafn Loftsson+2 more|arXiv (Cornell University)|Jul 27, 2019

Natural Language Processing Techniques被引用 6

一句话总结

Nefnir 是一个针对冰岛语的高精度、开源词形还原工具，其后缀替换规则源自大规模的现代冰岛语 inflection 数据库（DMII），在人工标注词性标签的文本上达到 99.55% 的准确率，在自动标注的文本上达到 96.88% 的准确率，优于以往的冰岛语词形还原工具。

ABSTRACT

Lemmatization, finding the basic morphological form of a word in a corpus, is an important step in many natural language processing tasks when working with morphologically rich languages. We describe and evaluate Nefnir, a new open source lemmatizer for Icelandic. Nefnir uses suffix substitution rules, derived from a large morphological database, to lemmatize tagged text. Evaluation shows that for correctly tagged text, Nefnir obtains an accuracy of 99.55%, and for text tagged with a PoS tagger, the accuracy obtained is 96.88%.

研究动机与目标

• 开发一个能够处理冰岛语丰富屈折形态的高精度词形还原工具。
• 通过利用大型综合形态数据库而非小型语料库，提升词形还原的准确率。
• 创建一个在人工标注和自动标注词性标签文本上均表现良好的开源词形还原工具。
• 通过从 DMII 中提取的基于规则的泛化方法，解决未登录词（OOV）、外来词和专有名词带来的挑战。

提出的方法

• 从包含超过 580 万种屈折形式的 DMII 形态数据库中提取后缀替换规则。
• 基于最长公共后缀和匹配的词性标签应用规则进行词形还原。
• 通过中间词性标签集在 DMII 标签与冰岛语词性标注器所用标签之间进行标签集转换。
• 通过迭代方式生成规则，以最小化剩余错误，确保每条规则至少修正两个错误。
• 通过包含约 4,500 个非屈折词（如副词、介词）和缩写词的精选列表，补充训练数据。
• 采用基于规则的方法，通过聚焦形态模式而非词汇记忆，避免过拟合。

实验结果

研究问题

• RQ1 基于大型形态数据库训练的词形还原工具，是否能在冰岛语上实现高于基于小型语料库训练的工具的准确率？
• RQ2 当词性标签为人工校正与自动生成时，词形还原准确率如何变化？
• RQ3 后缀替换规则在处理未登录词（OOV）方面，包括复合词和新造词，能有多大的适用范围？
• RQ4 冰岛语词形还原中的主要错误类别是什么？它们在标准标签和自动标注输入之间有何差异？
• RQ5 在冰岛语等形态丰富的语言中，基于规则的词形还原是否能优于混合方法或基于机器学习的方法？

主要发现

• 在基于 21,093 个词元参考语料的正确词性标签文本上，Nefnir 的词形还原准确率达到 99.55%。
• 在使用 IceTagger 自动标注词性标签的文本上，Nefnir 的准确率为 96.88%，错误数为 658 个，而标准标签下的错误数为 94 个。
• 在正确标注数据中，最常见的错误类别是外来词和专有名词，尤其是带有附着定冠词的词。
• 自动标注输入中的标签错误是词形还原错误的主要原因，例如将复数与与格形式错误分类。
• 高准确率主要归因于 DMII 数据库的丰富性和覆盖率，使其能有效泛化到罕见词和复合词。
• 在可比测试集上，Nefnir 的准确率优于以往发表的冰岛语词形还原工具，包括基于 DMII 查找的 Lemmald 和 CST 词形还原器。