[论文解读] Probabilistic Parsing Using Left Corner Language Models

Christopher D. Manning, Bob Carpenter|arXiv (Cornell University)|Nov 17, 1997

Natural Language Processing Techniques参考文献 16被引用 5

一句话总结

本文提出了一种概率解析框架，利用左角解析方法通过同时基于自顶向下的目标和自底向上的推导来条件化规则概率，从而提高准确性。在使用Penn Treebank数据的《华尔街日报》语料上进行评估，该方法优于标准的自顶向下概率上下文无关语法，尽管数据集的扁平括号结构以及语法的过度生成和欠生成限制了其作为基准的有效性。

ABSTRACT

We introduce a novel parser based on a probabilistic version of a left-corner parser. The left-corner strategy is attractive because rule probabilities can be conditioned on both top-down goals and bottom-up derivations. We develop the underlying theory and explain how a grammar can be induced from analyzed data. We show that the left-corner approach provides an advantage over simple top-down probabilistic context-free grammars in parsing the Wall Street Journal using a grammar induced from the Penn Treebank. We also conclude that the Penn Treebank provides a fairly weak testbed due to the flatness of its bracketings and to the obvious overgeneration and undergeneration of its induced grammar.

研究动机与目标

• 开发一种结合自顶向下和自底向上推理的概率解析方法，以实现更好的语言建模。
• 探究将规则概率同时基于目标和推导进行条件化是否能提高解析准确性。
• 在Penn Treebank提供的真实语法数据上评估所提出解析器的性能。
• 评估Penn Treebank作为解析模型测试平台的局限性。

提出的方法

• 解析器采用左角策略，其中每个规则应用由自顶向下的目标（预期类别）和自底向上的推导（已解析的成分）共同引导。
• 规则概率同时基于预测类别和迄今已推导出的实际成分进行条件化，从而在概率估计中引入更丰富的上下文。
• 通过在观察到的左角推导上使用最大似然估计，从解析数据中学习语法。
• 该模型将自顶向下的假设生成与自底向上的验证相结合，减少歧义并提升解析决策质量。
• 该方法通过结合自顶向下和自底向上两种解析方向的结构约束，扩展了传统概率上下文无关语法。

实验结果

研究问题

• RQ1 能否通过同时基于自顶向下目标和自底向上推导来条件化规则概率，从而实现更高的解析准确性？
• RQ2 左角解析策略在真实文本上与标准自顶向下概率上下文无关语法相比表现如何？
• RQ3 Penn Treebank的括号结构在多大程度上限制了解析模型的评估？
• RQ4 从Penn Treebank中学习到的语法是否表现出显著的过度生成或欠生成？

主要发现

• 左角解析器在《华尔街日报》语料库上的表现优于标准的自顶向下概率上下文无关语法。
• 该改进归因于同时利用自顶向下和自底向上信息对规则概率进行更丰富的条件化。
• 发现Penn Treebank由于其扁平括号结构，作为测试基准较弱，这限制了对结构精确度的评估能力。
• 所学习到的语法表现出过度生成和欠生成，表明训练数据的代表性存在局限。