[论文解读] Using Multiple Sources of Information for Constraint-Based Morphological Disambiguation

Gökhan Tür|ArXiv.org|Jul 30, 1996

Natural Language Processing Techniques被引用 3

一句话总结

本文提出了一种针对土耳其语等黏着语的基于约束的词形消歧系统，整合了手工编写的语言学规则、从语料库中无监督学习得到的约束，以及目标文本中的统计信息。通过结合这些信息源，系统在词形消歧任务中实现了96–97%的召回率、93–94%的精确率，且每词素的歧义解析数低于1.03，通过二级词形处理器处理后，不足1%的词素仍保持未知状态。

ABSTRACT

This thesis presents a constraint-based morphological disambiguation approach that is applicable to languages with complex morphology--specifically agglutinative languages with productive inflectional and derivational morphological phenomena. For morphologically complex languages like Turkish, automatic morphological disambiguation involves selecting for each token morphological parse(s), with the right set of inflectional and derivational markers. Our system combines corpus independent hand-crafted constraint rules, constraint rules that are learned via unsupervised learning from a training corpus, and additional statistical information obtained from the corpus to be morphologically disambiguated. The hand-crafted rules are linguistically motivated and tuned to improve precision without sacrificing recall. In certain respects, our approach has been motivated by Brill's recent work, but with the observation that his transformational approach is not directly applicable to languages like Turkish. Our approach also uses a novel approach to unknown word processing by employing a secondary morphological processor which recovers any relevant inflectional and derivational information from a lexical item whose root is unknown. With this approach, well below 1% of the tokens remains as unknown in the texts we have experimented with. Our results indicate that by combining these hand-crafted, statistical and learned information sources, we can attain a recall of 96 to 97% with a corresponding precision of 93 to 94%, and ambiguity of 1.02 to 1.03 parses per token.

研究动机与目标

• 为解决土耳其语等具有丰富屈折和派生形态的黏着语中的词形消歧挑战。
• 开发一种结合多种信息源（手工规则、学习到的约束和语料统计）的系统，以提升消歧性能。
• 通过采用二级处理器进行词根推断解析，减少词形处理中未知词的数量。
• 在保持低歧义性的同时，实现高召回率和高精确率。
• 将基于约束的方法的应用范围扩展至布里尔的转换式方法不直接适用的土耳其语领域。

提出的方法

• 系统使用语言学启发的、手工编写的约束规则，在不降低召回率的前提下提升精确率。
• 通过无监督学习从训练语料中提取额外的约束规则，增强覆盖范围和适应能力。
• 整合目标语料库中的统计信息，以指导消歧决策。
• 二级词形处理器通过推断词根形式，分析未知词，恢复派生和屈折标记。
• 在基于约束的推理框架中，整合手工规则、学习到的约束和统计数据三者信息源。
• 通过综合所有信息源的证据，对可能的词形解析进行排序，以解决歧义。

实验结果

研究问题

• RQ1 基于约束的系统能否有效处理土耳其语等黏着语中的词形消歧问题，其中屈折和派生形态高度活跃？
• RQ2 结合手工规则、学习到的约束和统计信息，相较于单一信息源方法，能否显著提升消歧性能？
• RQ3 二级词形处理器在多大程度上能减少词形分析中未知词素的数量？
• RQ4 所提出的方法是否在保持低歧义性的同时，实现了高召回率和高精确率？
• RQ5 当布里尔的转换式方法不直接适用于土耳其语的词形结构时，基于约束的方法是否仍具可行性？

主要发现

• 该系统在土耳其语词形消歧任务中实现了96–97%的召回率和93–94%的精确率。
• 歧义率降低至每词素1.02–1.03个解析，表明消歧置信度高。
• 经处理后，不足1%的词素仍保持未知，这得益于二级词形处理器。
• 手工规则、学习到的约束和统计信息的整合，显著提升了消歧准确性。
• 该方法成功克服了布里尔等转换式方法在土耳其语中不直接适用的局限性。
• 系统在具有高度词形复杂性的真实土耳其语文本上表现出稳健性能。