[论文解读] Tagging accurately -- Don't guess if you know

Pasi Tapanainen, Atro Voutilainen|ArXiv.org|Aug 16, 1994

Natural Language Processing Techniques参考文献 1被引用 16

一句话总结

本文提出了一种混合词性标注系统，将基于知识的标注器（ENGCG）与统计标注器（Xerox Tagger）相结合，在2,700个未见词汇的测试语料上实现了98.5%的准确率。通过使用语言学规则解决可靠的歧义，并利用统计模型处理其余部分，该系统优于仅使用最先进的统计标注器，错误率至少降低一半。

ABSTRACT

We discuss combining knowledge-based (or rule-based) and statistical part-of-speech taggers. We use two mature taggers, ENGCG and Xerox Tagger, to independently tag the same text and combine the results to produce a fully disambiguated text. In a 27000 word test sample taken from a previously unseen corpus we achieve 98.5% accuracy. This paper presents the data in detail. We describe the problems we encountered in the course of combining the two taggers and discuss the problem of evaluating taggers.

研究动机与目标

• 通过结合基于知识和统计的方法，提高词性标注的准确率。
• 解决纯统计标注器的局限性，后者由于局部上下文约束而做出语言学上不敏感的决策。
• 在应用统计模型之前，使用可靠的句法规则减少词性歧义。
• 评估在未见文本上结合基于规则和统计标注器的有效性，以最小化错误率。
• 证明在统计处理之前应用语言学知识，相比仅使用统计模型，能获得更优的结果。

提出的方法

• 该系统使用两个独立的标注器：ENGCG（基于知识）和Xerox Tagger（统计），每个都处理相同的输入文本。
• ENGCG应用1,100条高度可靠的基于语法的约束条件和200条启发式约束条件，以解决无歧义及低频歧义情况。
• 当两个标注器对某一词的标注一致时，结果被接受；当存在冲突时，以基于知识的系统输出为准。
• 对于ENGCG中未解决的歧义，系统选择与统计标注器结果最接近的标签。
• 一个自定义映射模块将ENGCG和Xerox Tagger所使用的不同词性标签集对齐，以实现一致的比较与融合。
• 最终输出完全消歧，通过战略性地融合基于规则的精确性与统计模型的覆盖范围，实现错误率降低。

实验结果

研究问题

• RQ1 结合基于规则和统计的词性标注是否能将整体准确率提升至超过单一方法所能达到的水平？
• RQ2 语言学规则在多大程度上能够解决统计模型无法正确处理的歧义情况？
• RQ3 基于规则和统计处理的先后顺序如何影响最终消歧准确率？
• RQ4 不同标注器之间词性标签集不匹配对系统性能有何影响？
• RQ5 混合系统是否能将错误率相比最先进的统计标注器降低至少一半？

主要发现

• 该混合系统在2,700个未见词汇的测试语料上实现了98.5%的准确率，错误率仅为1.5%。
• 与单独使用最佳性能的统计标注器（Xerox Tagger）相比，错误率至少降低了一半。
• 统计标注器所犯错误中约75–80%被基于规则的系统纠正，表明语言学约束具有很高的可靠性。
• 系统仅留下3–7%的词汇存在未解决的歧义，且这些多为困难案例，如介词与从属连词之间的歧义。
• 在统计处理之前引入基于知识的组件，显著优于仅使用统计模型的独立系统。
• 即使存在标签集映射错误，该混合系统的性能仍优于当时报告的任何其他完全消歧的标注器。