[论文解读] Statistical Decision-Tree Models for Parsing

David M. Magerman|ArXiv.org|Apr 29, 1995

Natural Language Processing Techniques参考文献 4被引用 46

一句话总结

本文提出 SPATTER，一种统计解析器，利用决策树学习从大规模标注语料中自动推导消歧规则，避免了手工语法工程。通过使用上下文敏感的决策树对解析决策进行概率建模，SPATTER 在 40 个词以内的《华尔街日报》语料上实现了 86% 的精确率和 86% 的召回率，显著优于基于规则的解析器。

ABSTRACT

Syntactic natural language parsers have shown themselves to be inadequate for processing highly-ambiguous large-vocabulary text, as is evidenced by their poor performance on domains like the Wall Street Journal, and by the movement away from parsing-based approaches to text-processing in general. In this paper, I describe SPATTER, a statistical parser based on decision-tree learning techniques which constructs a complete parse for every sentence and achieves accuracy rates far better than any published result. This work is based on the following premises: (1) grammars are too complex and detailed to develop manually for most interesting domains; (2) parsing models must rely heavily on lexical and contextual information to analyze sentences accurately; and (3) existing {$n$}-gram modeling techniques are inadequate for parsing models. In experiments comparing SPATTER with IBM's computer manuals parser, SPATTER significantly outperforms the grammar-based parser. Evaluating SPATTER against the Penn Treebank Wall Street Journal corpus using the PARSEVAL measures, SPATTER achieves 86\% precision, 86\% recall, and 1.3 crossing brackets per sentence for sentences of 40 words or less, and 91\% precision, 90\% recall, and 0.5 crossing brackets for sentences between 10 and 20 words in length.

研究动机与目标

• 开发一种无需依赖手工构建语法的解析系统，能够从大规模语料中自动学习消歧规则。
• 解决传统 n-gram 模型和上下文无关文法模型在捕捉长距离依赖关系和词汇上下文方面的局限性。
• 通过利用统计决策树，在《华尔街日报》等具有歧义性和大规模词汇的领域中提升解析准确性。
• 证明决策树模型能够有效捕捉对解析至关重要的上下文特征，同时保持计算上的可处理性。

提出的方法

• SPATTER 使用统计决策树，基于上下文特征（包括词汇、句法关系以及先前构建的成分）对每个解析决策的概率进行建模。
• 解析器将完整解析的概率估计为每个决策在给定先前决策和句子上下文下的条件概率的乘积：$ P(T|S) = \prod_{d_i \in T} P(d_i | d_{i-1}, \dots, d_1, S) $。
• 采用具有广度优先搜索和概率剪枝的栈解码器，以在合理的时间和内存限制内高效找到最高概率的解析结果。
• 通过考虑所有可能的词性标注序列及其估计概率，实现联合标注与解析，而无需依赖预标注的词性标签。
• 使用信息论分类算法在大规模标注语料上训练决策树，实现自动特征选择与参数估计。
• 使用 PARSEVAL 指标（包括精确率、召回率和交叉括号数）在宾夕法尼亚语料库《华尔街日报》第 00 节上对模型进行评估。

实验结果

研究问题

• RQ1 能否有效应用决策树学习技术，从大规模标注语料中自动推导解析规则，而无需手工构建语法？
• RQ2 基于上下文敏感的统计决策树模型与基于规则或 n-gram 的解析器相比，在解析准确率方面表现如何？
• RQ3 决策树模型在多大程度上能够捕捉对准确解析至关重要的长距离词汇和结构依赖关系？
• RQ4 在仅具备有限语言知识的情况下训练的解析器，能否在真实世界中具有歧义性的文本上实现与基于语法规则的系统相当或更优的性能？

主要发现

• SPATTER 在《华尔街日报》语料中 40 个词及以下的句子上实现了 86.3% 的精确率和 85.8% 的召回率，平均每个句子有 1.33 个交叉括号。
• 对于较短的句子（10–20 个词），SPATTER 实现了 90.8% 的精确率和 90.3% 的召回率，平均每个句子仅有 0.49 个交叉括号。
• 在所有句子长度范围内，SPATTER 的词性标注准确率达到 96.5%，表明其词性标注具有高度鲁棒性。
• 超过 73% 的 10–20 个词的句子交叉括号数为零，且超过 95% 的句子交叉括号数不超过两个，表明其结构保真度极高。
• 性能在句子长度达到 28 个词之前缓慢下降，此后波动性增加，表明长句存在性能上限。
• SPATTER 显著优于 IBM 基于语法规则的计算机手册解析器，证明了数据驱动的决策树建模在解析任务中的优越性。