[论文解读] Tractability through Exchangeability: A New Perspective on Efficient Probabilistic Inference

Mathias Niepert, Guy Van den Broeck|arXiv (Cornell University)|Jan 7, 2014

Bayesian Modeling and Causal Inference参考文献 30被引用 12

一句话总结

本文引入有限部分可交换性作为基本统计特性，使在缺乏条件独立性的情况下，对包含数百万变量的高树宽模型也能实现可处理的概率推理。它确立了可交换性——作为条件独立性的补充——解释了提升推理算法的效率，为统计关系模型中的精确与近似提升提供了统一的统计基础。

ABSTRACT

Exchangeability is a central notion in statistics and probability theory. The assumption that an infinite sequence of data points is exchangeable is at the core of Bayesian statistics. However, finite exchangeability as a statistical property that renders probabilistic inference tractable is less well-understood. We develop a theory of finite exchangeability and its relation to tractable probabilistic inference. The theory is complementary to that of independence and conditional independence. We show that tractable inference in probabilistic models with high treewidth and millions of variables can be understood using the notion of finite (partial) exchangeability. We also show that existing lifted inference algorithms implicitly utilize a combination of conditional independence and partial exchangeability.

研究动机与目标

• 识别并形式化有限部分可交换性作为概率模型中可处理推理的统计特性。
• 表明可交换性在实现高效推理方面与条件独立性相辅相成，尤其在高树宽和变量数量庞大的模型中。
• 通过将马尔可夫逻辑网络等模型中的句法对称性与语义可交换性关联，为精确提升推理提供统计表征。
• 在基于可交换性的统一理论框架下，统一精确与近似推理方法。
• 证明现有提升推理算法隐式依赖于条件独立性与部分可交换性的组合。

提出的方法

• 发展有限（部分）可交换性的理论，将其作为在变量置换下不变的统计特性，与模型表示无关。
• 引入可交换分解，通过因子分解联合分布以实现高效推理，类似于条件独立性的因子分解。
• 将该理论应用于马尔可夫逻辑网络（MLNs），表明领域级对称性诱导出基元原子的可交换分解。
• 证明在领域置换下，一元原子和自环二元原子构成可交换组件，且非对角线二元原子在这些组件下可独立分解。
• 利用组合构造高效计算边缘概率，通过利用可交换性与有界查询结构。
• 表明当查询仅涉及有界数量的二元原子时，对小规模查询状态的枚举仍保持可处理性，从而实现领域提升推理。

实验结果

研究问题

• RQ1 在缺乏条件独立性的情况下，何种统计特性使高树宽概率模型能够实现高效推理？
• RQ2 有限部分可交换性如何与条件独立性相关联并互补，以实现可处理推理？
• RQ3 提升推理算法的成功能否由超越句法对称性的基本统计原理来解释？
• RQ4 在统计关系模型中，可交换性在多大程度上可用于表征精确提升推理的可处理性？
• RQ5 马尔可夫逻辑网络等模型中的句法对称性如何引出语义可交换性与高效推理？

主要发现

• 有限部分可交换性是高树宽和包含数百万变量的概率模型中实现可处理推理的充分条件。
• 提升推理算法隐式利用了条件独立性与部分可交换性的组合，二者共同定义了一个比仅依赖条件独立性更广泛的可处理模型类别。
• 本文证明，在马尔可夫逻辑网络中，一元原子和自环二元原子在领域置换下构成可交换组件，从而支持高效推理。
• 在可交换组件给定的条件下，非对角线二元原子可独立分解，允许以多项式时间因子化计算联合概率。
• 当查询仅涉及有界数量的二元原子时，推理保持领域提升，因为查询状态的数量与领域大小无关。
• 理论结果表明，可交换性为精确提升推理提供了统计表征，统一了精确与近似推理框架。