[论文解读] The Generalized Smallest Grammar Problem

Payam Siyari, Matthias Gallé|arXiv (Cornell University)|Aug 31, 2016

Natural Language Processing Techniques参考文献 6被引用 3

一句话总结

本文提出了一种广义的最小语法问题，将传统的直线语法扩展至非递归语法，从而在语法推断中实现结构化泛化。通过结合最小描述长度（MDL）与哈里斯的可替代性原则，该方法推导出更高精度的句法规则，比以往基于SGP的方法更有效地捕捉自然语言结构，在宾州树库基准测试中实现了更小的语法规模和显著提升的括号匹配准确率。

ABSTRACT

The Smallest Grammar Problem -- the problem of finding the smallest context-free grammar that generates exactly one given sequence -- has never been successfully applied to grammatical inference. We investigate the reasons and propose an extended formulation that seeks to minimize non-recursive grammars, instead of straight-line programs. In addition, we provide very efficient algorithms that approximate the minimization problem of this class of grammars. Our empirical evaluation shows that we are able to find smaller models than the current best approximations to the Smallest Grammar Problem on standard benchmarks, and that the inferred rules capture much better the syntactic structure of natural language.

研究动机与目标

• 解决最小语法规则问题（SGP）在语法推断中因局限于无泛化能力的直线程序而失效的问题。
• 设计一种形式化方法，使非递归语法能够捕捉自然语言序列中的句法结构。
• 设计一种高效算法，在最小化语法规模的同时，利用MDL与分布相似性优化结构泛化能力。
• 在标准基准上对方法进行实证评估，并与现有SGP算法在语法规模与句法规则质量方面进行性能比较。
• 证明所推导的规则比传统SGP方法更真实地反映句法成分。

提出的方法

• 将SGP形式化从直线程序扩展至非递归语法，以支持超越简单子串替换的结构泛化。
• 应用最小描述长度（MDL）原则，平衡模型规模与数据编码成本，确保高效且有意义的语法压缩。
• 利用哈里斯的可替代性理论，识别在语境中可互换的子串作为新非终结符规则的候选。
• 在初始直线语法基础上进行后处理，基于语境与内部括号模式推导分支规则。
• 采用贪心搜索策略高效探索语法空间，通过早期停止控制语法规模并提升规则质量。
• 使用紧凑表示法编码最终语法，确保可无歧义地重建原始序列。

实验结果

研究问题

• RQ1 为何以往基于SGP的方法在语法推断中仍失败，尽管其理论上有吸引力？
• RQ2 将SGP形式化扩展至非递归语法是否能提升自然语言序列中的结构泛化能力？
• RQ3 基于MDL的优化与可替代性原则在多大程度上能生成比当前SGP算法更小、更准确的语法？
• RQ4 与直线语法相比，非递归语法在推导的句法括号精度与一致性方面表现如何？
• RQ5 所提出的方法是否能泛化至长序列及远超短句的复杂句法结构？

主要发现

• 该方法在标准基准上实现的语法规模小于当前最先进水平，尤其在'kennedy.xls'序列上表现显著提升。
• 后处理后的非递归语法在792个额外括号上实现了50.48%的括号匹配精度，远高于基础贪心算法的21%精度。
• 上下文括号更准确（最高达60%），但一致性较低（85%非交叉）；内部括号更一致（90%），但准确率较低。
• 该方法在长序列（超过130万个词符）上保持高性能，未出现效率或准确率下降。
• 仅使用直线语法的模型括号匹配精度仅为22%，凸显了所提非递归扩展的优势。
• 即使在短句（≤10个词）上，上下文括号精度也达80%，尽管召回率较低，仍优于其他无监督解析方法。