[论文解读] Towards Finite-State Morphology of Kurdish

Sina Ahmadi, Hossein Hassani|arXiv (Cornell University)|May 21, 2020

Natural Language Processing Techniques参考文献 31被引用 9

一句话总结

本文提出了首个用于索拉尼库尔德语的有限状态词形变化系统，采用斯图加特有限状态转换器（SFST）对名词、形容词、副词和动词的屈折形态进行建模。该系统从电子词典中提取了171条词形变化规则，实现了拉丁字母书写下的双向词形分析与生成，显著推进了这一低资源、高度屈折语言的自然语言处理。

ABSTRACT

Morphological analysis is the study of the formation and structure of words. It plays a crucial role in various tasks in Natural Language Processing (NLP) and Computational Linguistics (CL) such as machine translation and text and speech generation. Kurdish is a less-resourced multi-dialect Indo-European language with highly inflectional morphology. In this paper, as the first attempt of its kind, the morphology of the Kurdish language (Sorani dialect) is described from a computational point of view. We extract morphological rules which are transformed into finite-state transducers for generating and analyzing words. The result of this research assists in conducting studies on language generation for Kurdish and enhances the Information Retrieval (IR) capacity for the language while leveraging the Kurdish NLP and CL into a more advanced computational level.

研究动机与目标

• 解决库尔德语缺乏计算词形变化工具的问题，该语言为低资源、高度屈折的印欧语系语言。
• 开发基于有限状态转换器的系统，以建模索拉尼库尔德语的屈折形态，重点涵盖名词、形容词、副词和动词。
• 通过贡献词形分析、合成与文本生成，弥合库尔德语BLARK框架中的空白。
• 利用新发布的电子词典，构建基于规则、可逆的词形分析器与生成器。
• 为未来在库尔德语自然语言处理中开展词源形态、作格性及句法交互研究奠定基础。

提出的方法

• 使用斯图加特有限状态转换器（SFST）框架，基于正则表达式和特征编码实现词形变化规则。
• 在源自Ahmadi等人（2019）的词典中定义词基形式，名词、形容词和副词使用绝对形式，动词使用过去/现在分词形式。
• 通过词素的连接建模屈折形态，包括时态、体、语气、人称、数和格等词缀。
• 实现双向转换：分析（表面形式 → 词形特征）与生成（特征 → 表面形式）。
• 聚焦拉丁字母以避免波斯-阿拉伯字母带来的歧义，特别是缺失的元音 /i/（Bizroke）。
• 定义171条屈折规则，涵盖主要屈折词素，如 -im（第一人称单数）、-tir（比较级）、-tirîn（最高级）和 -ane（副词标记）。

实验结果

研究问题

• RQ1 有限状态转换器如何有效应用于建模索拉尼库尔德语复杂的屈折形态？
• RQ2 索拉尼库尔德语中哪些关键屈折与词源词素可系统性地编码于计算词形变化框架中？
• RQ3 现有电子词典在多大程度上可支持为像库尔德语这样的低资源语言开发基于规则的词形分析器？
• RQ4 如何在具有丰富屈折 paradigms 的语言中，通过可逆的基于规则的系统实现词形分析与生成？
• RQ5 当前库尔德语自然语言处理中词形建模的局限性是什么？如何通过有限状态方法加以解决？

主要发现

• 该系统成功在索拉尼库尔德语的四个词类（名词、形容词、副词和动词）中建模了171条屈折规则。
• 有限状态转换器支持双向处理：将表面形式分析为词形特征，以及从特征序列生成表面形式。
• 该工具支持拉丁字母下的词形分析与生成，避免了波斯-阿拉伯字母中的歧义，特别是缺失的元音 /i/。
• 该实现证明了SFST在低资源、高度屈折语言（如库尔德语）词形处理中的可行性。
• 该系统为未来在库尔德语自然语言处理中开展词源形态、作格性及句法交互研究提供了基础资源。
• 所开发的工具与词典资源以CC BY-NC-SA 4.0许可发布，供非商业用途使用，推动了库尔德语自然语言处理资源的开放获取。