[论文解读] Nonuniform Dynamic Discretization in Hybrid Networks

Alexander V. Kozlov, Daphne Koller|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用 138

一句话总结

本文提出了一种用于混合贝叶斯网络的非均匀动态离散化方法，通过基于证据和函数复杂度自适应划分连续变量，减少了信息损失和数据结构大小。采用二叉分割划分（BSP）树数据结构，该方法在空间上实现了相对于均匀离散化的指数级节省，并支持一种任意时间推理算法，能够通过基于证据的细化逐步提高精度。

ABSTRACT

We consider probabilistic inference in general hybrid networks, which include continuous and discrete variables in an arbitrary topology. We reexamine the question of variable discretization in a hybrid network aiming at minimizing the information loss induced by the discretization. We show that a nonuniform partition across all variables as opposed to uniform partition of each variable separately reduces the size of the data structures needed to represent a continuous function. We also provide a simple but efficient procedure for nonuniform partition. To represent a nonuniform discretization in the computer memory, we introduce a new data structure, which we call a Binary Split Partition (BSP) tree. We show that BSP trees can be an exponential factor smaller than the data structures in the standard uniform discretization in multiple dimensions and show how the BSP trees can be used in the standard join tree algorithm. We show that the accuracy of the inference process can be significantly improved by adjusting discretization with evidence. We construct an iterative anytime algorithm that gradually improves the quality of the discretization and the accuracy of the answer on a query. We provide empirical evidence that the algorithm converges.

研究动机与目标

• 最小化在具有连续变量和离散变量的混合网络上的概率推理中的信息损失。
• 解决均匀离散化效率低下的问题，该问题在高维空间中会导致数据结构过大和近似效果差。
• 开发一种动态的、基于证据的离散化策略，随时间推移逐步提高推理精度。
• 设计一种内存高效的BSP树数据结构，支持非均匀划分的紧凑表示。
• 将新离散化方法集成到标准推理算法（如联结树算法）中，以实现实际部署。

提出的方法

• 提出一种对所有变量联合进行的非均匀划分方案，而非对每个变量单独进行均匀划分，以更好地反映函数复杂度并减少离散化误差。
• 引入二叉分割划分（BSP）树作为数据结构，以高效表示非均匀划分，支持对数时间访问和紧凑存储。
• 采用一种动态离散化过程，根据证据对划分进行细化，重点关注后验概率较高的区域。
• 对标准联结树算法进行改造，使其能够与BSP树协同工作，实现在非均匀离散化框架下的精确推理。
• 设计一种任意时间推理算法，通过随计算时间增加而逐步提高离散化质量与查询精度。
• 使用启发式方法指导划分细化，识别出连续函数曲率较高或后验密度较高的区域。

实验结果

研究问题

• RQ1 在所有变量上采用非均匀离散化是否比对每个变量单独进行均匀离散化更有效地减少信息损失？
• RQ2 像BSP树这样的新型数据结构是否能在多维空间中以显著更少的内存表示非均匀划分，相比均匀离散化？
• RQ3 在推理过程中，如何动态调整离散化以在引入证据时逐步提高精度？
• RQ4 能否设计一种任意时间算法，随时间推移逐步细化离散化并提高推理质量？
• RQ5 基于证据的划分细化在多大程度上能提升混合网络中概率查询的准确性？

主要发现

• 所提出的非均匀离散化方法在多维空间中相比均匀离散化，将表示连续函数所需的数据结构大小减少了指数级因子。
• BSP树在高维设置下相对于标准均匀离散化实现了指数级的空间节省。
• 基于证据的动态细化显著提高了推理精度，通过将离散化计算集中在后验概率较高的区域。
• 任意时间算法随着计算时间的增加，收敛到更优的离散化结果和更准确的查询答案，展现出实际应用价值。
• 将BSP树集成到联结树算法中，可在不牺牲正确性的前提下，实现高效且准确的非均匀离散化推理。