[论文解读] Pearl: A Probabilistic Chart Parser

David M. Magerman, Mitchell P. Marcus|ArXiv.org|May 3, 1994

Time Series Analysis and Forecasting被引用 6

一句话总结

Pearl 提出了一种基于上下文敏感条件概率的概率图表解析器，用于在不限制文本的条件下选择得分最高的解析结果。该方法将词性标注、未知词建模与解析整合在一个交错的框架中，而非传统的流水线结构。它采用时间异步、自底向上的图表解析器，并结合 Earley 风格的自顶向下预测，利用宽松匹配的语法和概率评分实现鲁棒的消歧与解析选择。

ABSTRACT

This paper describes a natural language parsing algorithm for unrestricted text which uses a probability-based scoring function to select the "best" parse of a sentence. The parser, Pearl, is a time-asynchronous bottom-up chart parser with Earley-type top-down prediction which pursues the highest-scoring theory in the chart, where the score of a theory represents the extent to which the context of the sentence predicts that interpretation. This parser differs from previous attempts at stochastic parsers in that it uses a richer form of conditional probabilities based on context to predict likelihood. Pearl also provides a framework for incorporating the results of previous work in part-of-speech assignment, unknown word models, and other probabilistic models of linguistic features into one parsing tool, interleaving these techniques instead of using the traditional pipeline architecture. In preliminary tests, Pearl has been successful at resolving part-of-speech and word (in speech processing) ambiguity, determining categories for unknown words, and selecting correct parses first using a very loosely fitting covering grammar.

研究动机与目标

• 开发一种解析算法，基于上下文证据的 probabilistic scoring 选择句子最可能的解析结果。
• 将词性标注、未知词建模及其他语言特征整合到统一的解析框架中，避免传统流水线结构的局限性。
• 通过利用源自句子上下文的更丰富条件概率，提升句法结构的消歧能力。
• 通过使用概率置信度评分引导在多种分析结果中选择，实现使用宽松匹配语法的有效解析。
• 提供一种灵活的架构，可直接将先前概率模型的语言特征结果整合到解析过程中。

提出的方法

• 使用时间异步的自底向上图表解析器，并结合 Earley 类型的自顶向下预测，探索可能的句法分析。
• 使用反映上下文对解释预测能力的概率函数对每种解析理论进行评分。
• 采用上下文敏感的条件概率，基于周围语言特征建模句法结构的可能性。
• 将词性分配、未知词建模与解析组件交错处理，而非顺序执行。
• 维护部分解析的图表，并根据句子上下文中的概率证据动态更新得分。
• 选择得分最高的完整解析作为最终输出，优先选择由上下文线索最支持的解释。

实验结果

研究问题

• RQ1 基于上下文证据的概率评分在非受限自然语言文本中如何提升解析准确率？
• RQ2 词性标注与未知词建模在多大程度上可以有效整合到解析过程中，而非作为独立阶段处理？
• RQ3 结合宽松匹配语法与概率评分，能否实现鲁棒的句法消歧？
• RQ4 使用上下文敏感的条件概率与简单概率模型相比，在解析性能上表现如何？
• RQ5 交错解析架构相较于传统流水线模型，在处理语言歧义方面具有哪些优势？

主要发现

• Pearl 通过利用上下文概率选择每个词最可能的词性标签，成功解决了词性歧义问题。
• 通过利用周围语法上下文和概率推理，解析器能有效确定未知词的句法类别。
• 在初步测试中，即使使用非常宽松的语法，Pearl 仍能将正确解析选为最高得分选项，表现出良好的鲁棒性。
• 将语言特征的概率模型整合到解析过程中，相比独立处理，显著提升了整体解析准确率。
• 使用上下文敏感的条件概率，相比简单概率模型，能更准确地预测句法结构。
• 交错架构通过在解析过程中允许语言组件之间的反馈，优于流水线方法。