[论文解读] Syntactic Analysis by Local Grammars Automata: an Efficient Algorithm

Mehryar Mohri|ArXiv.org|Jul 4, 1994

DNA and Biological Computing参考文献 6被引用 14

一句话总结

本文提出了一种基于局部语法的高效句法分析算法，通过有限状态自动机表示局部语法，并利用失败函数检测文本中的禁止词序列。该方法通过基于自动机的过滤技术实现最优时间复杂度，显著减少了词形还原文本中的歧义，支持大规模语法约束的可扩展处理。

ABSTRACT

Local grammars can be represented in a very convenient way by automata. This paper describes and illustrates an efficient algorithm for the application of local grammars put in this form to lemmatized texts.

研究动机与目标

• 通过将局部语法表示为有限状态自动机，减少词形还原文本中的句法歧义。
• 开发一种高效算法，利用自动机交集和失败函数检测文本中的多个禁止词序列。
• 即使局部语法的并集规模较大，也能实现其可扩展应用。
• 在自动机框架中统一支持负向（禁止序列）和正向（必需后续）规则表示。

提出的方法

• 将局部语法表示为有限状态自动机，以编码禁止词序列。
• 利用失败函数（来自Aho-Corasick算法）优化基于自动机的模式匹配中的序列匹配。
• 通过自动机交集对文本自动机进行过滤，移除包含禁止序列的路径。
• 将失败函数概念扩展至自动机，以在序列匹配过程中提升时间复杂度效率。
• 支持负向和正向规则表示：通过终态表示禁止序列（负向）和必需后续（正向）。
• 采用基于队列的状态构造算法，高效计算文本自动机与语法自动机的交集。

实验结果

研究问题

• RQ1 如何高效应用局部语法以减少词形还原文本中的句法歧义？
• RQ2 在文本自动机中检测多个禁止序列时，可进行哪些算法优化？
• RQ3 失败函数的使用如何提升基于自动机的句法过滤效率？
• RQ4 负向和正向局部语法规则能否在统一的自动机框架中统一处理？
• RQ5 当应用于大规模局部语法自动机并集时，所提算法的可扩展性如何？

主要发现

• 通过将Aho-Corasick失败函数扩展至自动机，所提算法实现了最优时间复杂度，可高效检测禁止序列。
• 该算法成功过滤了文本自动机中的歧义路径，显著减少了虚假句法分析的数量。
• 实验结果表明，该算法具有良好的可扩展性，可处理包含数百个状态的局部语法并集。
• 该方法通过终态和转移约束，同时支持负向（禁止序列）和正向（必需后续）规则表示。
• 该算法可推广至其他自动机操作，如自动机输入下的交集与模式匹配。
• 在68040 33MHz和i486 50MHz系统上的实现验证了其在真实自然语言处理应用中的实际效率。