[论文解读] Towards History-based Grammars: Using Richer Models for Probabilistic Parsing

Ezra Black, Fred Jelinek+4 more|ArXiv.org|May 3, 1994

Natural Language Processing Techniques被引用 29

一句话总结

本文提出基于历史的语法（HBG），一种利用丰富语言上下文（包括从句法树推导中获得的词汇、句法、语义和结构信息）来解决歧义的概率解析模型。通过使用在宾夕法尼亚语料库上训练的决策树来建模来自最左推导的上下文，HBG 实现了 75% 的 Viterbi 解析准确率，显著优于当前最先进的 P-CFG 模型的 60%，误差率相对降低 25%。

ABSTRACT

We describe a generative probabilistic model of natural language, which we call HBG, that takes advantage of detailed linguistic information to resolve ambiguity. HBG incorporates lexical, syntactic, semantic, and structural information from the parse tree into the disambiguation process in a novel way. We use a corpus of bracketed sentences, called a Treebank, in combination with decision tree building to tease out the relevant aspects of a parse tree that will determine the correct parse of a sentence. This stands in contrast to the usual approach of further grammar tailoring via the usual linguistic introspection in the hope of generating the correct parse. In head-to-head tests against one of the best existing robust probabilistic parsing models, which we call P-CFG, the HBG model significantly outperforms P-CFG, increasing the parsing accuracy rate from 60% to 75%, a 37% reduction in error.

研究动机与目标

• 通过整合超越标准 n-gram 或基于规则模型的详细语言上下文，解决自然语言解析中的结构和语义歧义。
• 开发一种概率解析框架，基于解析树的完整推导历史建模上下文，而非仅依赖相邻上下文。
• 证明即使在复杂情况下，更丰富的上下文建模也能在正确训练下带来可测量的解析准确率提升。
• 探究在概率模型中增加上下文丰富度是否能带来更好的消歧效果，特别是在具有挑战性的句法结构中。

提出的方法

• HBG 建模句子 w 及其解析树 T 的联合概率 P(T; w)，通过在所有可能的树中取 argmax 选择最可能的解析。
• 模型使用最左推导来定义上下文，对非终结符节点进行索引，并提取规则应用历史及其父节点信息。
• 使用两种类型的父节点：直接父节点（直接支配者）和功能父节点（决定句法角色），从而更好地处理单位产生式。
• 在语料库数据上训练决策树，以分类历史并最小化熵，学习上下文特征如何预测正确的规则应用。
• 模型整合来自推导历史的特征，如句法类别、语义角色、词汇核心词和结构位置，以指导解析决策。
• 训练过程使用约 10,000 个句子-树对，生成约 240,000 个历史-规则元组，用于训练一个包含约 40,000 个节点的决策树。

实验结果

研究问题

• RQ1 能否通过整合来自完整推导历史的丰富语言上下文，显著提升概率解析模型的解析准确率？
• RQ2 在上下文建模中同时使用功能父节点和直接父节点，是否比仅依赖直接父节点或 n-gram 更好地解决歧义？
• RQ3 当上下文特征的复杂度增加时，是否存在收益递减的临界点？
• RQ4 决策树能否有效学习将复杂推导历史映射到正确的句法规则应用？

主要发现

• HBG 在 7 至 17 个词的句子上实现了 75% 的 Viterbi 解析准确率，而 P-CFG 模型为 60%，误差率相对降低 25%。
• 该提升具有统计显著性，证明更丰富的上下文建模能带来更好的解析消歧效果。
• 一种简化版 HBG（仅使用直接父节点和功能父节点特征，不依赖完整推导历史）达到了 66% 的准确率，表明更丰富的上下文能带来渐进式提升。
• 实验表明，尽管更复杂的模型性能略低于 HBG，但这可能是由于训练数据不足所致，提示更大的语料库可能进一步释放性能潜力。
• 决策树的使用使得高维上下文特征的有效参数估计成为可能，从而使复杂模型具备可操作性。
• 功能父节点机制成功解决了单位产生式（如 NP → NP）中的歧义，仅依赖直接父节点将不足以应对此类情况。