[论文解读] Novel Bounds on Marginal Probabilities

Joris M. Mooij, Hilbert J. Kappen|ArXiv.org|Jan 24, 2008

Bayesian Modeling and Causal Inference参考文献 15被引用 3

一句话总结

本文提出了两种新方法——BoxProp-SubT 和 BoxProp-SAWT，用于在离散因子图中计算单变量边缘概率的紧致且计算高效的边界。通过分别在子树和自避免行走树上传播边界框，这些方法同时界定了精确边缘概率和信念传播（Belief Propagation）的信念，相较于现有方法，在低基数变量和强相互作用的情况下，显著提升了准确性和降低了计算时间。

ABSTRACT

We derive two related novel bounds on single-variable marginal probability distributions in factor graphs with discrete variables. The first method propagates bounds over a subtree of the factor graph rooted in the variable, and the second method propagates bounds over the self-avoiding walk tree starting at the variable. By construction, both methods not only bound the exact marginal probability distribution of a variable, but also its approximate Belief Propagation marginal (``belief''). Thus, apart from providing a practical means to calculate bounds on marginals, our contribution also lies in an increased understanding of the error made by Belief Propagation. Empirically, we show that our bounds often outperform existing bounds in terms of accuracy and/or computation time. We also show that our bounds can yield nontrivial results for medical diagnosis inference problems.

研究动机与目标

• 开发离散因子图中单变量边缘概率的更紧致、实用的边界。
• 通过同时界定向信念传播（BP）信念和精确边缘概率，量化信念传播的误差。
• 在保持或提升边界紧致性的同时，降低计算成本，相较于现有方法。
• 在无需精确解的情况下，实现近似推理中误差的可靠估计。
• 支持医学诊断等实际应用，其中紧致且快速的边界至关重要。

提出的方法

• 在以目标变量为根的子树上传播边界框（概率测度的最小包围框），以计算边缘概率边界。
• 使用自避免行走树（SAWT）作为计算树来传播边界框，相比子树传播，能捕捉更复杂的依赖关系。
• 在传播过程中应用凸性及归一化/乘法运算，以保持概率边界的合法性。
• 利用变量给其邻居的局部边界，采用框表示法高效追踪边界。
• 通过截断子树和SAW树来控制计算时间，以适度牺牲紧致性为代价换取可扩展性。
• 通过交集或取最紧边界的方式，结合多种方法的边界，以提升整体准确性。

实验结果

研究问题

• RQ1 我们能否推导出在因子图中单变量边缘概率的更紧致边界，同时界定向信念传播（BP）信念？
• RQ2 如何以低计算成本高效计算边界，尤其针对低基数变量？
• RQ3 在实际推理问题中，能否在紧致性和计算时间上超越现有边界？
• RQ4 在强相互作用和高阶因子图中，边界的行为如何？
• RQ5 这些边界能否推广到连续变量，或扩展至非成对相互作用？

主要发现

• BoxProp-SubT 和 BoxProp-SAWT 在紧致性和计算时间方面均优于现有边界，尤其在二值或低基数变量情况下表现更优。
• 对于成对相互作用，当截断至固定深度时，BoxProp-SAWT 的边界最为紧致，且计算复杂度随网络规模呈线性增长。
• 这些边界同时适用于精确边缘概率和 BP 信念，从而可直接量化 BP 的误差。
• 计算时间具有可预测性，且与相互作用强度无关，这与 BoundProp 或 TRW 等迭代方法不同。
• BoxProp-SubT 在高阶相互作用中表现更优，因为 Ihler-SAWT 难以轻易扩展至此类情形。
• 这些边界在实际医学诊断问题中表现有效，能产生非平凡且有用的结论。