[论文解读] New Advances in Inference by Recursive Conditioning

David L. Allen, Adnan Darwiche|arXiv (Cornell University)|Oct 19, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用 33

一句话总结

本文提出递归条件化（Recursive Conditioning, RC），一种用于贝叶斯网络的任意空间推理算法，通过动态调整缓存大小来在时间和空间之间进行权衡。该方法在时间与空间复杂度上与变量消去法和聚类法相当，同时显著降低了实际内存使用量，并利用单位消去等逻辑技术来利用确定性，从而在结构化网络中加速推理。

ABSTRACT

Recursive Conditioning (RC) was introduced recently as the first any-space algorithm for inference in Bayesian networks which can trade time for space by varying the size of its cache at the increment needed to store a floating point number. Under full caching, RC has an asymptotic time and space complexity which is comparable to mainstream algorithms based on variable elimination and clustering (exponential in the network treewidth and linear in its size). We show two main results about RC in this paper. First, we show that its actual space requirements under full caching are much more modest than those needed by mainstream methods and study the implications of this finding. Second, we show that RC can effectively deal with determinism in Bayesian networks by employing standard logical techniques, such as unit resolution, allowing a significant reduction in its time requirements in certain cases. We illustrate our results using a number of benchmark networks, including the very challenging ones that arise in genetic linkage analysis.

研究动机与目标

• 开发一种用于贝叶斯网络的推理算法，以高效平衡时间与空间复杂度。
• 在完全缓存条件下，将推理的实际内存占用量降低到理论界限以下。
• 集成如单位消去等逻辑推理技术，以利用贝叶斯网络中的确定性。
• 在具有挑战性的基准网络上评估RC的性能，包括遗传连锁分析网络。
• 证明RC在实践中能够匹配或超越主流算法的效率。

提出的方法

• RC通过受控方式对变量进行条件化，递归分解联合概率分布以计算查询结果。
• 该算法动态管理中间结果的缓存，通过调整缓存大小实现时间和空间之间的权衡。
• 它应用变量消去原理，但以递归且注重内存的方式实现，避免完全预计算。
• RC集成单位消去及其他逻辑推理技术，以检测并利用网络结构中的确定性。
• 该算法通过遍历分解树来处理证据和查询，缓存结果以避免重复计算。
• 它利用网络的拓扑结构和条件独立性，以最小化冗余计算。

实验结果

研究问题

• RQ1 任意空间推理算法是否能实现与主流方法（如变量消去法）相当的时间与空间复杂度？
• RQ2 在完全缓存条件下，RC的实际内存使用量与理论预期及主流算法相比如何？
• RQ3 在存在确定性的情况下，单位消去等逻辑推理技术能在多大程度上降低RC的时间复杂度？
• RQ4 RC在真实世界中的复杂贝叶斯网络（如遗传连锁分析中的网络）上表现如何？
• RQ5 RC能否在保持大规模推理实际效率的前提下，有效实现以空间换时间？

主要发现

• RC在时间与空间复杂度上与主流算法（如变量消去法和聚类法）具有渐近可比性，其复杂度在树宽上为指数级，在网络规模上线性增长。
• 在完全缓存条件下，RC的实际内存使用量显著低于主流方法，表明其在空间效率方面具有实际优势。
• 集成单位消去及其他逻辑推理技术后，RC在高度确定性的网络中运行时间显著减少。
• 在包括遗传连锁分析网络在内的基准网络上，RC表现出色，其在速度与内存使用方面优于或匹配现有算法。
• 该算法有效利用了确定性等结构特性，从而在特定情况下实现数量级的速度提升。
• RC的动态缓存策略使其能够在传统方法无法实现完全缓存的大规模网络中实现实际部署。