[论文解读] Prepositional Phrase Attachment through a Backed-Off Model

Michael J. Collins, James B. Brooks|ArXiv.org|Jun 22, 1995

Topic Modeling参考文献 5被引用 52

一句话总结

本文提出了一种基于n-gram语言建模原理的回退统计模型，用于介词短语依附分析，在利用低频训练事件的情况下，于《华尔街日报》语料库上实现了84.5%的准确率。该方法优于基线模型，并表明低频事件对性能至关重要，若忽略这些事件，准确率将下降至81.6%。

ABSTRACT

Recent work has considered corpus-based or statistical approaches to the problem of prepositional phrase attachment ambiguity. Typically, ambiguous verb phrases of the form {v np1 p np2} are resolved through a model which considers values of the four head words (v, n1, p and n2). This paper shows that the problem is analogous to n-gram language models in speech recognition, and that one of the most common methods for language modeling, the backed-off estimate, is applicable. Results on Wall Street Journal data of 84.5% accuracy are obtained using this method. A surprising result is the importance of low-count events - ignoring events which occur less than 5 times in training data reduces performance to 81.6%.

研究动机与目标

• 通过基于四个核心词（动词、第一名词、介词和第二名词）的统计模型，解决自然语言中介词短语依附歧义问题。
• 探究回退估计（在n-gram语言建模中常用）是否能提升介词短语依附消歧的准确率。
• 评估低频训练事件对模型性能的影响，挑战‘稀有事件可安全忽略’的假设。
• 将所提方法与现有方法进行比较，包括最大似然估计及Hindle和Rooth等人的先前统计模型。
• 确定包含介词的词组（如N1,P,N2或V,P,N2）是否相比其他词组组合能显著提升依附准确率。

提出的方法

• 该模型使用回退估计计算在给定四个核心词（V, N1, P, N2）条件下名词依附的条件概率，当高阶计数（四元组）不可用时，从更高阶计数（四元组）逐步退至低阶计数（三元组、二元组、单个词）获取估计值。
• 当四元组计数为零时，回退估计计算公式为：$\hat{p}(1|v,n1,p,n2) = \frac{f(1,v,p) + f(1,n1,p)}{f(v,p) + f(n1,p)}$，以包含介词的词组作为主要回退路径。
• 该算法采用基于计数的分层估计策略：首先使用完整的四元组计数，随后使用三元组（如V,N1,P），再使用二元组（如V,P或N1,P），最后退至单个词或全局估计。
• 模型在《华尔街日报》语料库树库数据上进行训练与测试，使用20,801个训练五元组和3,097个测试五元组，并使用开发集调参。
• 决策规则为：若$\hat{p}(1|v,n1,p,n2) \geq 0.5$，则将介词短语依附于名词；否则依附于动词。
• 一个关键组成部分是低频事件的评估：通过将所有计数低于5的样本设为零，重新训练模型以评估其对性能的影响。

实验结果

研究问题

• RQ1 能否有效将n-gram语言建模中的回退估计应用于介词短语依附消歧？
• RQ2 包含低频训练事件如何影响统计介词短语依附模型的准确率？
• RQ3 包含介词的词组（如N1,P,N2或V,P,N2）是否相比其他词组组合提供显著更强的预测能力？
• RQ4 该回退模型在相同测试数据上的性能与最大似然估计及先前统计模型相比如何？
• RQ5 在该语言任务中，忽略稀有事件（计数<5）在多大程度上会降低模型性能？

主要发现

• 该回退模型在《华尔街日报》测试集上实现了84.5%的准确率，优于基线方法，并接近人类水平（使用四个核心词时为88.2%）。
• 若排除所有出现次数少于五次的训练事件，准确率将下降至81.6%，表明低频事件对性能至关重要。
• 包含介词的词组（如N1,P,N2或V,P,N2）始终比不包含介词的词组表现更优，且最准确的七个词组全部包含介词。
• 该回退方法优于最大似然估计器，且在1,924个测试样本的子集上达到86.5%的准确率，优于Hindle和Rooth方法的82.1%。
• 该模型性能稳定且计算高效，无需复杂平滑或词形处理，且实现概念简单。
• 结果表明，未来改进可来自词类建模或更多训练数据，尽管平滑技术可能进一步提升性能。