[论文解读] Stochastic And-Or Grammars: A Unified Framework and Logic Perspective

Kewei Tu|arXiv (Cornell University)|Jun 2, 2015

Bayesian Modeling and Causal Inference参考文献 24被引用 4

一句话总结

本文提出了一种统一的、与数据无关的随机And-Or语法（AOG）框架，用于建模图像、视频和事件等多样化数据类型中的组合性与可重构结构。该框架提出了一种与领域无关的推理算法，在组合稀疏性假设下具有可 tractability（可处理性），并建立了AOGs作为概率逻辑和随机逻辑程序的逻辑解释，将其与统计关系学习联系起来。

ABSTRACT

Stochastic And-Or grammars (AOG) extend traditional stochastic grammars of language to model other types of data such as images and events. In this paper we propose a representation framework of stochastic AOGs that is agnostic to the type of the data being modeled and thus unifies various domain-specific AOGs. Many existing grammar formalisms and probabilistic models in natural language processing, computer vision, and machine learning can be seen as special cases of this framework. We also propose a domain-independent inference algorithm of stochastic context-free AOGs and show its tractability under a reasonable assumption. Furthermore, we provide two interpretations of stochastic context-free AOGs as a subset of probabilistic logic, which connects stochastic AOGs to the field of statistical relational learning and clarifies their relation with a few existing statistical relational models.

研究动机与目标

• 将计算机视觉、自然语言处理和事件建模中使用的各种领域特定的随机AOG统一为一种单一的、与数据无关的形式化体系。
• 为随机上下文无关AOG开发一种与领域无关的推理算法，该算法在合理的组合稀疏性假设下具有可处理性。
• 建立随机AOG与概率逻辑框架（如可处理马尔可夫逻辑和随机逻辑程序）之间的正式联系。
• 阐明AOG与现有概率模型（包括和积网络与基于约束的语法）之间的理论关系。
• 通过将AOG抽象为一种形式化、可解释的概率模型，实现通用学习与推理。

提出的方法

• 提出随机上下文无关AOG的五元组形式化体系：⟨Σ, N, S, θ, R⟩，其中Σ为终结符，N为非终结符（And/Or节点），S为起始符号，θ将节点映射到参数，R定义节点之间的关系。
• 引入参数化模式与关系，以在不同数据类型间泛化AOG，支持图像、事件和语言的实例化。
• 基于动态规划开发一种与领域无关的推理算法，通过在所有匹配输入的有效解析树上求和来计算边缘概率。
• 通过将AOG映射为一种可处理马尔可夫逻辑的形式，建立一阶概率逻辑解释，其中And/Or规则对应具有概率权重的逻辑子句。
• 将随机上下文无关AOG简化为归一化的随机逻辑程序（SLP），从而可复用现有的SLP推理与学习算法。
• 利用组合稀疏性假设证明推理算法的可处理性，确保在该条件下具有多项式时间复杂度。

实验结果

研究问题

• RQ1 如何在不依赖领域特定定义的前提下，将随机AOG统一应用于图像、事件和语言等多样化数据类型？
• RQ2 在何种条件下，随机上下文无关AOG中的推理是可处理的？能否独立于数据领域进行形式化？
• RQ3 随机AOG如何被解释为一种概率逻辑形式？它们与现有统计关系模型有何关联？
• RQ4 随机AOG能否被简化为已知形式化体系（如随机逻辑程序或可处理马尔可夫逻辑）？这对推理与学习有何影响？
• RQ5 随机AOG与其他概率模型（如和积网络与基于约束的语法）之间的理论关系是什么？

主要发现

• 所提出的统一AOG框架可作为自然语言处理、计算机视觉和机器学习中各种领域特定模型的特例。
• 在组合稀疏性假设下，与领域无关的推理算法具有可处理性，确保解析过程的时间复杂度为多项式时间。
• 随机上下文无关AOG可被解释为一阶概率逻辑的一个子集，其结构与推理特性类似于可处理马尔可夫逻辑。
• 逻辑解释揭示了AOG与现有统计关系模型之间深刻的联系，尤其体现在其对不确定性和组合性的处理方式上。
• 随机AOG可被简化为归一化的随机逻辑程序（SLP），从而可将成熟的SLP推理与学习算法应用于AOG。
• 该框架通过抽象掉领域特定细节，同时保留概率与结构表达能力，实现了跨数据类型的通用学习与推理。