[论文解读] Parsing with the Shortest Derivation

Rens Bod|ArXiv.org|Sep 27, 2000

Natural Language Processing Techniques参考文献 16被引用 11

一句话总结

本文挑战了人们普遍认为随机语法对较短派生的偏好是有害的这一观点，表明在用于数据导向解析（DOP）的随机树替换语法（STSG）中，基于最短派生的非概率度量方法在ATIS和OVIS语料库上优于概率DOP，且在WSJ语料库上也取得了具有竞争力的结果。该方法选择子树数量最少的派生，通过偏好更大、更具信息量的子树来提高解析准确率。

ABSTRACT

Common wisdom has it that the bias of stochastic grammars in favor of shorter derivations of a sentence is harmful and should be redressed. We show that the common wisdom is wrong for stochastic grammars that use elementary trees instead of context-free rules, such as Stochastic Tree-Substitution Grammars used by Data-Oriented Parsing models. For such grammars a non-probabilistic metric based on the shortest derivation outperforms a probabilistic metric on the ATIS and OVIS corpora, while it obtains very competitive results on the Wall Street Journal corpus. This paper also contains the first published experiments with DOP on the Wall Street Journal.

研究动机与目标

• 调查随机语法规则对较短派生的偏好在STSG基础DOP模型中是有害还是有益的。
• 评估基于最短派生的非概率度量方法是否能相比概率DOP提高解析准确率。
• 评估非概率DOP在多种语料库（包括ATIS、OVIS和华尔街日报（WSJ））上的表现。
• 探讨前沿词法化DOP模型是否比主词词法化模型更能捕捉非核心词依赖关系。
• 确定非概率DOP是否能在不依赖子树概率估计的情况下实现与概率DOP具有竞争力的结果。

提出的方法

• 非概率DOP模型从语料库中为每个句子选择最短派生（子树数量最少）。
• 如果存在多个最短派生，模型根据语料库中子树的频率选择排名最高的子树。
• 模型使用最左替换法，将从语料库树库中提取的基本子树组合成完整的解析树。
• 概率DOP模型中的子树概率通过语料库中子树出现频率的归一化值进行估计。
• 通过标注的精确率和召回率评估解析质量，将预测解析与标准语料库解析进行比较。
• 模型在三个语料库上进行测试：ATIS、OVIS和WSJ，最大子树深度各不相同。

实验结果

研究问题

• RQ1 随机语法规则对较短派生的偏好在STSG基础DOP模型中是有害还是有益的？
• RQ2 基于最短派生的非概率DOP模型是否在解析准确率方面优于概率DOP？
• RQ3 在子树统计难以获取的语料库中，非概率DOP模型是否表现更优？
• RQ4 非核心词依赖关系在多大程度上提升了DOP模型的解析准确率？
• RQ5 非概率DOP版本是否能在多种语言领域中与概率DOP具有竞争力？

主要发现

• 非概率DOP模型在ATIS和OVIS语料库上优于概率DOP模型，实现了更高的标注精确率和召回率。
• 在WSJ语料库上，非概率DOP模型取得了具有竞争力的结果，最大子树深度为14时，标注精确率为89.5%，标注召回率为89.3%。
• 概率DOP模型随着子树深度增加而持续改进，在深度14时达到89.5%的LP和89.3%的LR，优于多个先前的解析器。
• 移除包含两个或以上非核心词的子树使概率DOP的性能下降1.2%（标注精确率）和1.0%（标注召回率），表明非核心词依赖关系能提升准确率。
• 结果表明，前沿词法化DOP模型比主词词法化模型更有效地捕捉结构和词汇依赖关系。
• 本研究支持如下推测：任何使用灵活大小基本树的随机语法，均可有效转换为性能具有竞争力的非概率版本。