[论文解读] Sufficiency, Separability and Temporal Probabilistic Models

Avi Pfeffer|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用 18

一句话总结

本文提出一个形式化框架，将时间概率模型中的充分性与可加可分性联系起来，表明当条件概率表现出可分结构时，仅通过传播边缘分布而非完整联合分布，即可对子系统执行精确推理。关键贡献在于对弱相互作用子系统的精确刻画，使其能够实现高效精确预测，尽管观测引起的依赖关系会破坏可分性，从而恢复动态系统监控的复杂性。

ABSTRACT

Suppose we are given the conditional probability of one variable given some other variables.Normally the full joint distribution over the conditioning variablesis required to determine the probability of the conditioned variable.Under what circumstances are the marginal distributions over the conditioning variables sufficient to determine the probability ofthe conditioned variable?Sufficiency in this sense is equivalent to additive separability ofthe conditional probability distribution.Such separability structure is natural and can be exploited forefficient inference.Separability has a natural generalization to conditional separability.Separability provides a precise notion of weaklyinteracting subsystems in temporal probabilistic models.Given a system that is decomposed into separable subsystems, exactmarginal probabilities over subsystems at future points in time can becomputed by propagating marginal subsystem probabilities, rather thancomplete system joint probabilities.Thus, separability can make exact prediction tractable.However, observations can break separability,so exact monitoring of dynamic systems remains hard.

研究动机与目标

• 确定仅凭条件变量的边缘分布即可确定被条件变量概率的条件。
• 形式化条件概率中可加可分性的概念及其对高效推理的影响。
• 将可分性推广至时间概率模型，实现对子系统未来边缘概率的精确计算。
• 刻画动态系统中弱相互作用子系统的特征，使得尽管系统复杂，精确预测仍可行。

提出的方法

• 以条件概率的可加可分性来定义充分性，即条件概率可分解为与条件变量联合分布无关的分量。
• 在时间模型中引入可分子系统的正式概念，即系统的演化可分解为独立分量。
• 提出一种通过仅传播各子系统自身的边缘分布来计算子系统未来边缘概率的方法，避免传播完整联合状态。
• 利用可分性结构实现在无需条件变量完整联合分布的情况下对子系统进行精确推理。
• 证明可分性可实现系统中弱相互作用子系统的高效精确预测，从而降低计算复杂度。
• 分析外部观测如何破坏可分性，从而恢复动态系统中精确监控的固有难度。

实验结果

研究问题

• RQ1 在何种条件下，条件变量的边缘分布足以确定被条件变量的概率？
• RQ2 如何形式化描述条件概率中的可加可分性，并加以利用以实现高效推理？
• RQ3 可分性应如何推广至时间概率模型，以实现对子系统的精确预测？
• RQ4 什么定义了动态系统中的弱相互作用子系统？可分性如何在这些系统中实现高效计算？
• RQ5 为何观测引起的依赖关系会破坏可分性？这如何影响动态系统监控的复杂性？

主要发现

• 预测被条件变量的概率时，条件变量边缘分布的充分性，等价于条件概率分布的可加可分性。
• 当条件概率具有可加可分性时，仅通过边缘分布即可对子系统执行精确推理，避免完整联合状态的计算。
• 通过仅向前传播子系统边缘概率，可分性结构使时间模型中的精确预测成为可能。
• 可分子系统被形式化刻画为弱相互作用系统，从而在保持精确性的同时实现高效计算。
• 观测可能破坏可分性结构，重新引入完整联合推理的计算复杂性，使精确监控变得困难。