[论文解读] Relations among conditional probabilities

Jason Morton|ArXiv.org|Aug 8, 2008

Bayesian Modeling and Causal Inference参考文献 14被引用 5

一句话总结

本文为离散概率空间中条件概率之间关系提供了一个通用的格罗布纳基，推广了贝叶斯法则和一致性条件。它证明了条件概率分布的空间微分同胚于一个广义排列多面体，将马图什关于排列多面体的结果推广至任意的条件事件集合。

ABSTRACT

We describe a Groebner basis of relations among conditional probabilities in a discrete probability space, with any set of conditioned-upon events. They may be specialized to the partially-observed random variable case, the purely conditional case, and other special cases. We also investigate the connection to generalized permutohedra and describe a conditional probability simplex.

研究动机与目标

• 解决朱利安·贝萨格1974年提出的关于离散概率空间中条件概率之间一致性条件的问题。
• 将已知关系（如贝叶斯法则和贝萨格的乘积公式）推广至任意的条件事件集合。
• 通过代数几何方法，建立条件概率分布与广义排列多面体之间的几何对应关系。
• 通过通用格罗布纳基提供一个计算框架，该框架可适用于部分观测随机变量或纯条件模型等具体情形。

提出的方法

• 将条件概率形式化为多项式环中的元素，其变量为 $ p_{i|I} $，其中 $ I \notin \binscr{E} $，$ |I| \geq 2 $，且 $ i \in I $。
• 从编码条件概率归一化与一致性线性约束的矩阵 $ \mathcal{A} $ 出发，定义一个环道理想 $ I_{\mathcal{A}} $。
• 应用格罗布纳基理论，推导出条件概率之间关系的理想之通用格罗布纳基，从而实现一致性的算法验证。
• 利用代数几何中的矩映射，证明环道概型的非负部分的像微分同胚于一个广义排列多面体。
• 将构造特化至 $ n $ 个部分观测随机变量的情形，恢复已知结果，如贝萨格的乘积公式 (1)。
• 应用指数族与半群环理论，通过仿射与射影环道概型，将代数结构与统计模型联系起来。

实验结果

研究问题

• RQ1 一组条件概率必须满足哪些代数关系，才能与一个联合概率分布相容？
• RQ2 如何系统地推导并组织任意条件事件集合下条件概率之间的一致性条件？
• RQ3 对于给定的条件事件集合，所有有效条件概率分布空间的几何结构是什么？
• RQ4 广义排列多面体如何自然地作为条件概率空间中的几何对象出现？
• RQ5 环道几何中的矩映射如何实现环道概型非负部分与广义排列多面体之间的微分同胚？

主要发现

• 为任意离散概率空间中任意条件事件集合下的条件概率关系理想，构建了一个通用格罗布纳基。
• 所有 $ I \in \mathscr{E} $，$ |I| \geq 2 $ 的条件概率分布空间微分同胚于排列多面体 $ \mathbf{P}_{m-1} $，推广了马图什的结果。
• 对于任意 $ \mathscr{E} $，条件概率空间的像为一个广义排列多面体，为条件独立结构提供了标准的几何模型。
• 环道几何中的矩映射 $ \mu $ 将环道概型的非负部分微分同胚于矩阵 $ \mathcal{A} $ 的列向量的凸包，即广义排列多面体。
• 当 $ \mathscr{E} $ 对应于随机变量的部分观测时，该构造可作为贝萨格乘积公式 (1) 的特例被恢复。
• 通过仅改变集合 $ \mathscr{E} $，该框架可适用于多种统计模型（如部分观测变量模型），且格罗布纳基在所有实例中均保持有效。