[论文解读] Three New Probabilistic Models for Dependency Parsing: An Exploration

Jason Eisner|ArXiv.org|Jun 6, 1997

Natural Language Processing Techniques参考文献 14被引用 165

一句话总结

本文在词汇主义框架内提出了三种新颖的概率模型用于依存句法分析：（1）基于词对偏好的词汇亲和模型，（2）具有随机选择性偏好波动的词义标注模型，以及（3）说话者独立于听者构建句法结构的生成模型。主要发现是，生成模型（模型C）在华尔街日报语料上的句法分析准确率显著优于其他模型，达到78.1%的依存连接准确率，并在词性标注任务中表现具有竞争力。

ABSTRACT

After presenting a novel O(n^3) parsing algorithm for dependency grammar, we develop three contrasting ways to stochasticize it. We propose (a) a lexical affinity model where words struggle to modify each other, (b) a sense tagging model where words fluctuate randomly in their selectional preferences, and (c) a generative model where the speaker fleshes out each word's syntactic and conceptual structure without regard to the implications for the hearer. We also give preliminary empirical results from evaluating the three models' parsing performance on annotated Wall Street Journal training text (derived from the Penn Treebank). In these results, the generative (i.e., top-down) model performs significantly better than the others, and does about equally well at assigning part-of-speech tags.

研究动机与目标

• 开发并评估三种在语言学上有意义方式下整合词汇信息的依存句法分析概率模型。
• 探究以说话者为中心或以听者为中心的概率句法模型在真实文本上的句法分析性能表现孰优孰劣。
• 提供一种灵活高效的依存语法解析算法，支持随机建模，且无需手工编写语法。
• 评估词汇与句法偏好在句子结构中的作用，特别是与及物性与词级依存关系的相关性。
• 比较在基于宾州树库的华尔街日报语料上训练的模型之间的句法分析性能，重点关注依存连接准确率与词性标注表现。

提出的方法

• 提出一种新颖的$O(n^3)$依存语法解析算法，支持在概率模型上进行高效推理。
• 开发模型A（词汇亲和）基于词性标记的二元模型概率与词特定的依存偏好，模拟词语之间“相互影响”的过程。
• 引入模型B（词义标注）模型，模拟词语间选择性偏好的随机波动，将其视为概率选择。
• 设计模型C（生成模型），其中说话者独立于听者理解，独立构建句法与概念结构。
• 采用条件概率框架，将依存结构建模为$Pr(\text{links} \mid \text{words, tags})$，各模型具有独立的参数化方式。
• 在华尔街日报语料的一个子集上训练所有模型（4772个句子，93,360个词），使用最大似然估计法，并对低频事件采用回退策略。

实验结果

研究问题

• RQ1 能否在保持词汇敏感性与语言学可解释性的同时，有效实现概率依存解析器的随机化？
• RQ2 不同概率空间假设——特别是以听者为中心与以说话者为中心的模型——如何影响句法分析性能？
• RQ3 及物性偏好与词汇亲和在书面、编辑过的文本中对准确依存句法分析的贡献程度如何？
• RQ4 一种忽略听者影响的生成模型是否仍能优于基于相互兼容性或选择性偏好的模型？
• RQ5 纯粹的词汇主义模型与依赖词性标记n元组或忽略词汇依存关系的基线模型相比，性能如何？

主要发现

• 模型C（生成模型）在非标点符号词上实现了最高的依存连接准确率，达到78.1%，显著优于模型A（75.9%）、模型B（72.8%）和模型C′（66.6%）。
• 模型C在词性标注任务中也达到了90.8%的准确率，优于模型B（89.8%），并接近最佳模型（X）的基线水平91.0%。
• 模型C′（忽略词汇依存关系，仅使用基于词性的依存关系）表现较差（依存连接准确率为66.6%），表明词汇信息对解析准确率至关重要。
• 模型B（建模选择性偏好的随机波动）整体表现最差，尤其在动词上的准确率仅为63.1%，表明此类随机性可能无法反映真实的句法倾向。
• 结果表明，及物性偏好——特别是某些词语倾向于选择特定句法角色的倾向——在句子结构中起着重要作用，这从模型C的优异表现中得到证实。
• 仅将限定词连接到下一个词、将介词连接到前一个词的基线解析器达到了79.8%的词性标注准确率，表明简单启发式方法表现良好，但模型C在句法分析准确率上仍更优。