[论文解读] The intersection of Finite State Automata and Definite Clause Grammars

Gertjan van Noord|ArXiv.org|Apr 28, 1995

Natural Language Processing Techniques参考文献 8被引用 7

一句话总结

本文将 Bernard Lang 的 FSA-CFG 解析框架推广至限定子句语法（DCGs），表明现有解析算法可扩展以处理有限状态自动机（FSA）输入。其核心贡献在于证明：即使对于离线可解析的 DCG，FSA 与 DCG 的交集是否为空仍是不可判定的，揭示了在合一语法中实现鲁棒解析的根本局限性。

ABSTRACT

Bernard Lang defines parsing as the calculation of the intersection of a FSA (the input) and a CFG. Viewing the input for parsing as a FSA rather than as a string combines well with some approaches in speech understanding systems, in which parsing takes a word lattice as input (rather than a word string). Furthermore, certain techniques for robust parsing can be modelled as finite state transducers. In this paper we investigate how we can generalize this approach for unification grammars. In particular we will concentrate on how we might the calculation of the intersection of a FSA and a DCG. It is shown that existing parsing algorithms can be easily extended for FSA inputs. However, we also show that the termination properties change drastically: we show that it is undecidable whether the intersection of a FSA and a DCG is empty (even if the DCG is off-line parsable). Furthermore we discuss approaches to cope with the problem.

研究动机与目标

• 将 Bernard Lang 的 FSA-CFG 解析框架扩展至限定子句语法（DCGs），实现以有限状态自动机作为输入的解析。
• 研究 FSA 输入如何通过有限状态转换器建模语音理解系统中的词网格，以及在鲁棒解析技术中的应用。
• 分析 FSA 与 DCG 交集的终止性与可判定性属性，尤其关注空集检查问题。
• 识别并解决 FSA 与 DCG 解析机制结合时产生的根本性计算挑战。

提出的方法

• 通过将输入视为有限状态自动机而非词序列，将原本专为字符串输入设计的解析算法适配为处理 FSA 输入。
• 将解析过程建模为有限状态自动机（表示输入）与 DCG（表示语法）之间交集的计算。
• 将基于合一的解析概念应用于 FSA-DCG 交集，利用 DCG 表达复杂句法与语义约束的能力。
• 运用形式语言理论分析交集运算的计算复杂性，尤其关注终止性与可判定性。
• 通过从已知不可判定问题的约化，证明 FSA-DCG 交集的空集性是不可判定的。
• 讨论潜在的启发式方法与近似技术，以在实际解析应用中管理不可判定性问题。

实验结果

研究问题

• RQ1 标准 DCG 解析算法能否被调整以处理有限状态自动机作为输入，而非字符串？
• RQ2 FSA 与 DCG 交集的计算属性（尤其是终止性与可判定性）是什么？
• RQ3 即使在诸如离线可解析等限制条件下，给定 FSA 与 DCG 的交集是否为空也是可判定的吗？
• RQ4 在使用 FSA 输入的实用鲁棒解析系统中，如何应对空集检查的不可判定性？

主要发现

• 现有 DCG 解析算法可自然地扩展以处理 FSA 输入，同时保持其核心解析机制不变。
• 原则上可计算 FSA 与 DCG 的交集，但因无限推导的存在，该过程可能无法终止。
• 即使 DCG 是离线可解析的，FSA 与 DCG 交集是否为空仍是不可判定的，这意味着不存在通用算法可判断其空集性。
• 该不可判定性源于 DCG 的表达能力与 FSA 结构的结合，导致潜在的无限搜索空间。
• 这一不可判定性对依赖 FSA 输入（如词网格）的鲁棒解析系统构成根本性挑战。
• 实用方法必须依赖启发式策略、剪枝或近似技术，以应对非终止性并确保计算可行性。