[论文解读] On tensor rank of conditional probability tables in Bayesian networks

Jiří Vomlel, Petr Tichavský|arXiv (Cornell University)|Sep 22, 2014

Bayesian Modeling and Causal Inference参考文献 8被引用 3

一句话总结

本文表明，现实世界贝叶斯网络中的许多条件概率表（CPTs）可通过CP张量分解被良好地近似为低秩张量，从而将参数需求从父节点数量的指数级降低至线性。关键发现是，75%的具有三个或更多父节点的CPT可使用秩6或更低的张量实现精确近似，表明存在可被利用的隐藏低维结构，以实现高效建模与推理。

ABSTRACT

A difficult task in modeling with Bayesian networks is the elicitation of numerical parameters of Bayesian networks. A large number of parameters is needed to specify a conditional probability table (CPT) that has a larger parent set. In this paper we show that, most CPTs from real applications of Bayesian networks can actually be very well approximated by tables that require substantially less parameters. This observation has practical consequence not only for model elicitation but also for efficient probabilistic reasoning with these networks.

研究动机与目标

• 调查尽管被指定为通用表格，现实世界贝叶斯网络CPT是否表现出低秩结构。
• 解决从专家或数据中获取高维条件概率的实际挑战。
• 探索低秩近似是否可简化模型构建并提升概率推理中的计算效率。
• 评估CP张量分解在近似标准贝叶斯网络存储库中CPTs方面的有效性。

提出的方法

• 将每个CPT建模为表示给定父节点配置下条件概率的多维数组（张量）。
• 应用CP张量分解，将每个CPT分解为若干秩一张量之和，以减少自由参数数量。
• 使用快速阻尼高斯-牛顿算法（Levenberg-Marquardt）进行分解的数值优化。
• 通过所有父节点配置下原始CPT与近似CPT之间最大绝对误差来评估近似质量。
• 将真实CPT的结果与相同维度的随机生成张量结果进行比较，以建立基线性能。
• 使用TENSORBOX MATLAB工具包在15个贝叶斯网络上实现并测试。

实验结果

研究问题

• RQ1 来自贝叶斯网络存储库的真实CPT能否被低秩张量良好近似？
• RQ2 CP分解的秩与真实CPT中近似误差之间的关系如何？
• RQ3 真实CPT的秩是否显著低于相同尺寸的随机张量？
• RQ4 低秩近似在多大程度上可减少CPT所需的参数数量？
• RQ5 CPT中的低秩结构是否反映预期的领域知识，或可改善模型获取过程？

主要发现

• 约40%的具有三个或更多父节点的CPT可使用秩2张量实现良好近似（误差 < 0.001）。
• 约75%的CPT在使用秩6近似时可达到相同的误差阈值。
• 仅15%的CPT需要超过秩10才能使最大误差低于0.001。
• 相同维度下，随机生成的CPT无法实现可比的低秩近似质量，表明真实CPT具有内在结构。
• 结果表明，许多真实应用中的CPT并非完全通用，而是具有低维潜在结构。