[论文解读] Tagging Grammatical Functions

Thorsten Brants, Wojciech Skut+1 more|ArXiv.org|Jul 23, 1997

Natural Language Processing Techniques参考文献 9被引用 35

一句话总结

本文提出一种混合式、交互式的德国语料库句法标注自动化方法，通过将词性标注技术扩展至句法功能和词组类别标注。利用基于人工标注数据训练的自举式随机模型，系统在句法功能标注中达到94.2%的准确率，在词组类别标注中达到95.4%的准确率，当抑制不可靠预测时，精确率提升至99%以上。

ABSTRACT

This paper addresses issues in automated treebank construction. We show how standard part-of-speech tagging techniques extend to the more general problem of structural annotation, especially for determining grammatical functions and syntactic categories. Annotation is viewed as an interactive process where manual and automatic processing alternate. Efficiency and accuracy results are presented. We also discuss further automation steps.

研究动机与目标

• 通过整合自动处理与人工处理，提高大规模德国语料库句法标注的效率与准确性。
• 通过基于LFG f-结构与依存语法设计的理论无关的论元结构标注方案，应对德语中自由词序带来的挑战。
• 开发一种交互式标注工具，支持实时图形化编辑与自动化一致性检查。
• 评估基于标注数据训练的自举式模型在自动句法功能与词组类别标注中的性能。
• 识别并缓解自动标注中的关键错误来源，如形态信息与结构信息不足。

提出的方法

• 采用自举方法，即初始人工标注用于训练随机标注模型，随后在新数据上迭代优化。
• 使用三级可靠性模型抑制低置信度预测，以提高精确率，代价是召回率降低。
• 设计一种支持键盘与鼠标双重输入的图形化标注工具，以高效进行结构编辑与标签分配。
• 实现可变且可扩展的标签集，用于词、短语与边，并与语料库一同存储，以支持灵活配置与重复使用。
• 通过分析邻近短语与及物性信息，实施上下文敏感的消歧，以纠正如S/VP混淆等常见错误。
• 引入专用标签（如NM表示数值成分），以解决频繁但上下文敏感结构中的歧义。

实验结果

研究问题

• RQ1 标准的词性标注技术能否有效扩展至更复杂的句法功能与词组类别标注任务？
• RQ2 在自由词序语言中，结合自动标注与交互式人工监督在多大程度上能提升标注效率与准确性？
• RQ3 自动句法功能与词组类别标注中的主要错误来源是什么，如何加以缓解？
• RQ4 基于有限标注数据训练的自举式随机模型，在句法标注中能达到多高的准确率？
• RQ5 基于可靠性的过滤机制如何影响自动句法标注中的精确率与召回率？

主要发现

• 自动标注系统在句法功能标注中整体准确率达到94.2%，性能范围从句子的89%到介词短语的98%不等。
• 通过抑制不可靠预测，句法功能标注的精确率提升至92%至99%之间，证明了可靠性过滤的有效性。
• 词组类别标注整体准确率达到95.4%，各类别性能范围为89%至99%，在排除低置信度情况后精确率超过99%。
• 词组类别标注中最常见的错误是VP与S之间的混淆，主要源于训练数据中不完整句子导致非限定动词短语被错误分类。
• AP与NP之间的混淆较为普遍，主要由于其句法属性重叠，可通过引入对相关NP的上下文感知分析加以减少。
• 标签集中形态信息与及物性信息不足是主要错误来源，表明更丰富的标签集需通过自适应粒度控制来妥善处理数据稀疏性问题。