[论文解读] Robust Probabilistic Predictive Syntactic Processing

Brian Roark|ArXiv.org|May 9, 2001

Natural Language Processing Techniques参考文献 85被引用 17

一句话总结

本文提出了一种稳健的、概率性的、自顶向下的、从左到右的句法解析器，通过条件概率模型逐步构建完全连接的句法结构。该方法在仅使用三元语言模型5%训练数据的情况下，显著降低了困惑度和词错误率（WER），在语音识别中表现优于三元语言模型，并通过基于EM的模型自适应技术在非正式语音上实现了性能提升。

ABSTRACT

This thesis presents a broad-coverage probabilistic top-down parser, and its application to the problem of language modeling for speech recognition. The parser builds fully connected derivations incrementally, in a single pass from left-to-right across the string. We argue that the parsing approach that we have adopted is well-motivated from a psycholinguistic perspective, as a model that captures probabilistic dependencies between lexical items, as part of the process of building connected syntactic structures. The basic parser and conditional probability models are presented, and empirical results are provided for its parsing accuracy on both newspaper text and spontaneous telephone conversations. Modifications to the probability model are presented that lead to improved performance. A new language model which uses the output of the parser is then defined. Perplexity and word error rate reduction are demonstrated over trigram models, even when the trigram is trained on significantly more data. Interpolation on a word-by-word basis with a trigram model yields additional improvements.

研究动机与目标

• 开发一种覆盖范围广、概率性、自顶向下的解析器，能够从左到右逐步处理输入。
• 以反映自然语言心理语言学处理方式的方式建模句法依赖关系。
• 将该解析器应用于语音识别的语言模型构建，以超越标准n-gram模型。
• 评估该解析器在噪声大、非正式语音及语法不规范输入下的鲁棒性。
• 探索插值与基于EM的自适应方法，以提升在低资源或挑战性测试集上的性能。

提出的方法

• 采用基于概率的自顶向下解析策略，结合左角遍历，逐步构建句法推导过程。
• 利用句法类别和词项上的条件概率模型，指导解析决策。
• 应用选择性左角变换，以扁平化语法结构，同时保留短语成分关系。
• 将解析器的输出整合到语音识别语言模型中，替代或补充n-gram模型。
• 通过逐词插值与三元语言模型结合，融合两种方法的优势。
• 使用EM（期望最大化）算法在测试数据上重新估计模型参数，提升在非正式语音上的泛化能力。

实验结果

研究问题

• RQ1 自顶向下、从左到右、概率性的解析器能否以反映人类句子处理方式的方式建模句法依赖关系？
• RQ2 基于解析器的语言模型是否比标准三元语言模型更有效地降低困惑度和词错误率？
• RQ3 该解析器能否在无需预处理的情况下，稳健地处理非正式、噪声大或语法不规范的语音输入？
• RQ4 在训练数据有限的情况下，与三元语言模型进行插值在多大程度上能提升性能？
• RQ5 基于EM的自适应能否提升解析器语言模型在低资源或分布外语音数据上的性能？

主要发现

• 即使仅使用三元语言模型5%的训练数据，基于解析器的语言模型仍显著降低了困惑度和词错误率（WER）。
• 在Switchboard测试集上，该解析器模型在长度≥10的句子中实现了39.0的WER，优于相同子集上的网格三元语言模型（WER 39.3）。
• 解析器模型与三元语言模型之间的插值进一步提升了WER，表明两者具有互补优势。
• 该模型对语法不规范输入表现出鲁棒性，非正式语音中性能无明显下降，表明其对语法正确性依赖较小。
• 基于EM的自适应显著提升了该解析器模型在Switchboard上的表现，使其超越了网格三元语言模型基线。
• 实证结果表明，句法解析能够捕捉标准n-gram模型无法触及的长距离依赖关系，验证了其在语音识别中的实用性。