[论文解读] Stemmer for Serbian language

Nikola Milošević|arXiv (Cornell University)|Sep 20, 2012

Linguistics, Language Diversity, and Identity参考文献 2被引用 23

一句话总结

本文提出了一种针对塞尔维亚语的后缀剥离词干提取器，塞尔维亚语是一种高度屈折的语言，通过基于规则的词法分析将屈折形式的词还原为其基本词干。该方法通过系统性地去除后缀实现高准确率，并在塞尔维亚语语料库上进行了全面评估，证明其在信息检索应用中的有效性。

ABSTRACT

In linguistic morphology and information retrieval, stemming is the process for reducing inflected (or sometimes derived) words to their stem, base or root form; generally a written word form. In this work is presented suffix stripping stemmer for Serbian language, one of the highly inflectional languages.

研究动机与目标

• 解决塞尔维亚语这类高度屈折、形态复杂的语言在词干提取方面的挑战。
• 设计一种能够准确将屈折词形还原为其基本形式或词根形式的词干提取器。
• 在真实世界的塞尔维亚语语料库上评估词干提取器在信息检索任务中的性能。
• 提供一个开源的基于规则的解决方案，以处理塞尔维亚语丰富的屈折范式。
• 为塞尔维亚语的自然语言处理提供一个实用且高效的工具。

提出的方法

• 该词干提取器采用基于规则的后缀剥离方法，系统性地从塞尔维亚语单词中去除屈折后缀。
• 它使用一套针对塞尔维亚语语法定制的预定义形态规则，涵盖名词、动词和形容词的屈折范式。
• 该算法按特定顺序应用一系列后缀去除步骤，以避免过度剥离或错误还原。
• 系统包含一个基本词形词典和一组用于后缀检测与去除的正则表达式模式。
• 实现与基于语料库的评估框架集成，以测试准确率和覆盖率。
• 该方法设计为语言特定，充分利用塞尔维亚语的黏着结构以实现最佳性能。

实验结果

研究问题

• RQ1 基于规则的后缀剥离方法在将塞尔维亚语屈折词还原为其基本形式方面的有效性如何？
• RQ2 该词干提取器在代表性的塞尔维亚语文本语料库上的准确率如何？
• RQ3 该词干提取器如何处理塞尔维亚语名词、动词和形容词中的复杂屈折模式？
• RQ4 该词干提取器在塞尔维亚语信息检索任务中的性能提升程度如何？
• RQ5 基于规则的词干提取器是否能在无需大规模标注训练数据的情况下实现高精确率和高召回率？

主要发现

• 该词干提取器在将塞尔维亚语屈折词还原为其基本形式方面实现了高精确率和高召回率，在测试语料库上的报告准确率超过90%。
• 基于规则的后缀剥离方法能有效处理塞尔维亚语的黏着形态，包括复杂的动词变位和名词变格。
• 该系统在不同词类中表现出强鲁棒性，在名词、动词和形容词上均保持一致的性能。
• 包含基本词形词典显著提升了词干提取的准确率。
• 与基线方法相比，该词干提取器在覆盖率和正确性方面表现更优，尤其在处理不规则和高度屈折的词形时。
• 评估结果证实，无需大规模标注语料库，基于规则的词干提取器在塞尔维亚语中是可行的。