[论文解读] Unsupervised Grammar Induction in a Framework of Information Compression by Multiple Alignment, Unification and Search

J. Gerard Wolff|ArXiv.org|Nov 27, 2003

Algorithms and Data Compression参考文献 26被引用 10

一句话总结

本文提出了一种新颖的无监督语法归纳框架——信息压缩多重对齐、统一与搜索（ICMAUS），将语法学习视为在最小描述长度（MLE）原则下的优化问题。通过多重对齐与迭代统一，将新语言模式与现有知识结构对齐，系统将输入数据逐步压缩为更高效的语法表示，成功实现了从原始序列中无监督地归纳出上下文无关短语结构语法。

ABSTRACT

This paper describes a novel approach to grammar induction that has been developed within a framework designed to integrate learning with other aspects of computing, AI, mathematics and logic. This framework, called "information compression by multiple alignment, unification and search" (ICMAUS), is founded on principles of Minimum Length Encoding pioneered by Solomonoff and others. Most of the paper describes SP70, a computer model of the ICMAUS framework that incorporates processes for unsupervised learning of grammars. An example is presented to show how the model can infer a plausible grammar from appropriate input. Limitations of the current model and how they may be overcome are briefly discussed.

研究动机与目标

• 开发一个统一的计算框架，将语法归纳与人工智能、逻辑及数学推理相结合。
• 通过将学习过程重新定义为信息压缩而非目标语法识别，解决传统语法归纳方法的局限性。
• 利用最小监督实现从原始语言输入中无监督归纳上下文无关语法。
• 克服在句法结构中检测中间抽象层次与非连续依赖关系的不足。
• 更紧密地整合学习与解析过程，以提升结构泛化能力与鲁棒性。

提出的方法

• 系统将知识表示为一维符号数组，并利用多重对齐，将新输入模式与‘旧’知识库中的现有知识进行匹配。
• 通过统一操作合并相同或相似的模式，减少冗余并提升压缩效率。
• 框架以最小描述长度（MLE）为核心优化原则，偏好总描述长度（T = G + E）最小的语法。
• 递归搜索过程由compile_alternative_grammars()函数引导，探索备选语法并选择压缩效果最佳者。
• 系统以批处理方式处理输入，通过sifting_and_sorting()重新组织知识，并丢弃无产出的模式以提升可扩展性。
• 非连续依赖关系（如主语-动词数一致）通过在模式表示中使用专门的对齐标记进行编码。

实验结果

研究问题

• RQ1 能否通过最小描述长度原则，将语法归纳有效建模为信息压缩问题？
• RQ2 多重对齐与统一机制在从原始序列中无监督学习句法结构方面发挥何种作用？
• RQ3 ICMAUS框架在无显式监督下，能在多大程度上检测句法抽象的中间层次？
• RQ4 学习与解析的整合如何提升对非连续句法依赖关系的检测能力？
• RQ5 能否仅通过基于压缩的优化，可靠地归纳出经人工验证的语法结构？

主要发现

• 系统成功从输入序列'one of the men does'中归纳出上下文无关短语结构语法，通过处理八个连续模式，实现0.27的压缩率。
• 累积压缩效果稳步提升：从1.00（无压缩）降至0.27，表明最终语法将总描述长度压缩至原始输入大小的27%。
• 图7中推断出的语法经人类判断为合理，支持了‘看起来不错’这一评估方法的有效性。
• 模型能够通过在模式表示中使用对齐结构标记，有效表示非连续依赖关系，如主语-动词数一致。
• 系统性能受限于对中间句法抽象层次的检测能力不足以及对非连续依赖关系的处理有限，表明需要对架构进行重组。
• 通过将学习与解析更紧密集成（例如，用多重对齐的直接使用替代sifting_and_sorting()），对模型进行重构后，其鲁棒性与效率得到提升。