[论文解读] Precise n-gram Probabilities from Stochastic Context-free Grammars

Andreas Stolcke, Jonathan Segal|arXiv (Cornell University)|May 10, 1994

Natural Language Processing Techniques被引用 10

一句话总结

本文提出一种方法，通过求解从上下文无关随机语法（SCFG）导出的子串期望所构成的线性方程组，来计算精确的n-gram概率。该方法缓解了传统n-gram方法在数据稀疏性和结构限制方面的缺陷，通过基于形式文法的概率估计实现更精确的语言建模。

ABSTRACT

We present an algorithm for computing n-gram probabilities from stochastic context-free grammars, a procedure that can alleviate some of the standard problems associated with n-grams (estimation from sparse data, lack of linguistic structure, among others). The method operates via the computation of substring expectations, which in turn is accomplished by solving systems of linear equations derived from the grammar. We discuss efficient implementation of the algorithm and report our practical experience with it.

研究动机与目标

• 解决传统n-gram语言模型中存在的数据稀疏性和缺乏语言结构的问题。
• 通过上下文无关随机语法的层次结构，实现n-gram概率的精确估计。
• 开发一种高效计算方法，从SCFG中推导n-gram概率，而无需依赖经验频率统计。
• 提供一种形式化、数学基础坚实的n-gram估计替代方案，尊重句法结构。
• 在实际语言建模任务中，展示所提方法的实用可行性和计算效率。

提出的方法

• 该方法通过求解由SCFG的产生式规则及其相关概率导出的线性方程组，计算子串期望。
• 每个非终结符符号对子串的期望计数有贡献，这些计数在所有推导中被聚合。
• n-gram的概率由其在语法有效推导中作为子串出现的期望次数推导得出。
• 该算法使用动态规划技术，通过矩阵求逆或迭代求解器高效计算期望子串计数。
• 该方法利用SCFG的形式结构，通过句法成分传播概率，确保与语言层次结构的一致性。
• 该方法避免直接使用频率估计，转而依赖概率推导计数来计算精确的n-gram概率。

实验结果

研究问题

• RQ1 是否可以利用上下文无关随机语法在不依赖稀疏频率统计的情况下计算精确的n-gram概率？
• RQ2 如何高效计算SCFG中的子串期望，以支持n-gram概率估计？
• RQ3 与传统n-gram模型相比，引入句法结构在多大程度上能提升n-gram概率估计的准确性？
• RQ4 从SCFG中推导n-gram概率的计算复杂度和可扩展性如何？
• RQ5 在低数据环境下，该方法是否能通过利用结构约束，产生更准确的语言模型？

主要发现

• 该方法通过线性方程组从SCFG中推导出的期望子串出现次数，成功计算出精确的n-gram概率。
• 该方法通过使用基于语法的期望而非经验计数，避免了传统n-gram中常见的数据稀疏问题。
• 该算法在计算上是可行的，并通过动态规划和线性系统求解器实现了高效实现。
• 所得概率与底层语法结构保持一致，为平坦n-gram模型提供了具有语言学意义的替代方案。
• 该方法在语言建模任务中展现出实际效用，如ACL-94会议论文所述。
• 该方法通过利用句法层次结构和形式推导规则，在低数据场景下也能实现精确的概率估计。