[论文解读] Tabular Parsing

Mark-Jan Nederhof, Giorgio Satta|arXiv (Cornell University)|Apr 5, 2004

semigroups and automata theory被引用 6

一句话总结

本教程提出一种基于非确定性下推自动机的表格化解析框架，统一了Earley算法和CKY等关键解析算法。它展示了如何通过表格化实现上下文无关文法的高效解析，清晰地构建解析树，并分析计算复杂度。

ABSTRACT

This is a tutorial on tabular parsing, on the basis of tabulation of nondeterministic push-down automata. Discussed are Earley's algorithm, the Cocke-Kasami-Younger algorithm, tabular LR parsing, the construction of parse trees, and further issues.

研究动机与目标

• 提供一个基于非确定性下推自动机的表格化解析技术统一教程框架。
• 解释表格化如何简化上下文无关文法解析算法的实现与分析。
• 演示如何从表格化表示中构建完整的解析树。
• 探讨不同解析策略在计算复杂度和实际效率方面的表现。

提出的方法

• 使用表格表示中间解析状态，实现在非确定性下推自动机上的动态规划。
• 应用Earley算法通过维护表示部分解析的项目集合来解析字符串。
• 采用Cocke-Kasami-Younger（CKY）算法，利用自底向上的动态规划对处于乔姆斯基规范（CNF）的文法进行解析。
• 将表格化LR解析扩展以支持带前瞻和状态转移的高效自底向上解析。
• 通过在解析表中回溯，从表格化结果系统地构建完整的解析树。
• 使用标准渐近符号分析每种算法的时间与空间复杂度。

实验结果

研究问题

• RQ1 如何利用表格化统一并简化多种解析算法的实现？
• RQ2 Earley解析、CKY解析与表格化LR解析在结构与计算上存在哪些差异？
• RQ3 如何从表格化表示中重构完整的解析树？
• RQ4 在不同文法形式下，这些表格化解析方法的时间与空间复杂度如何？

主要发现

• 表格化解析为使用动态规划实现和分析多种解析算法提供了统一框架。
• CKY算法对处于乔姆斯基规范的文法实现O(n³)时间复杂度，适用于固定结构的解析任务。
• Earley算法支持任意上下文无关文法，最坏情况下时间复杂度为O(n³)，但在许多输入上具有更优的平均性能。
• 表格化LR解析可实现高效的自底向上解析，对无歧义文法具有线性时间性能。
• 可通过在解析表中回溯，系统地从表格化结果重构解析树。
• 表格化方法简化了解析复杂度的分析，并促进了增量解析与并行解析扩展的实现。