[论文解读] The Computational Power of Dynamic Bayesian Networks

Joshua Brulé|arXiv (Cornell University)|Mar 19, 2016

Bayesian Modeling and Causal Inference被引用 2

一句话总结

本论文表明，具有连续随机变量和离散子节点的动态贝叶斯网络（DBNs）可实现图灵完备计算，克服了离散DBNs的次图灵计算限制。通过使用狄拉克（Dirac）和海维赛德（Heaviside）分布模拟双栈下推自动机中的栈操作，该模型可利用改进的信念传播算法实现仅具常数时间开销的图灵机实时模拟。

ABSTRACT

This paper considers the computational power of constant size, dynamic Bayesian networks. Although discrete dynamic Bayesian networks are no more powerful than hidden Markov models, dynamic Bayesian networks with continuous random variables and discrete children of continuous parents are capable of performing Turing-complete computation. With modified versions of existing algorithms for belief propagation, such a simulation can be carried out in real time. This result suggests that dynamic Bayesian networks may be more powerful than previously considered. Relationships to causal models and recurrent neural networks are also discussed.

研究动机与目标

• 研究固定规模动态贝叶斯网络的计算能力。
• 确定离散DBNs是否可在已知其次图灵计算限制的前提下实现图灵完备性。
• 探索具有离散子节点的连续随机变量是否可在概率图模型中实现通用计算。
• 开发一种基于改进信念传播算法的精确推理方法，适用于此类混合模型。
• 比较DBNs与循环神经网络及因果模型的表达能力。

提出的方法

• 构建一个两片 temporal 贝叶斯网络（2TBN）以模拟双栈下推自动机，其等价于图灵机。
• 使用狄拉克分布的连续随机变量将栈内容编码为实数，对二进制字符串采用唯一编码。
• 采用海维赛德阶跃函数作为条件概率密度，以提取栈顶值并检测栈是否为空。
• 通过线性变换（如 q/4 + 1/4）定义确定性条件分布，模拟栈的压入与弹出操作。
• 改编 Lerner 的算法以实现混合连续-离散模型中的推理，支持后验分布一阶与二阶矩的精确计算。
• 通过限制父节点为狄拉克分布、条件为海维赛德函数，确保数值稳定性，避免数值积分误差。

实验结果

研究问题

• RQ1 具有固定数量变量的动态贝叶斯网络能否实现图灵完备计算？
• RQ2 具有离散子节点的连续随机变量在增强DBNs计算能力方面发挥何种作用？
• RQ3 在具备通用计算能力的混合连续-离散DBNs中，精确推理是否可行？
• RQ4 在真实RAM模型下，此类模型的推理计算复杂度如何变化？
• RQ5 这些结果在多大程度上表明因果建模中一阶特征并非必要？

主要发现

• 离散动态贝叶斯网络为次图灵计算，因其可约简为隐马尔可夫模型，仅能识别RP复杂度类中的随机语言。
• 引入具有离散子节点的连续随机变量——特别是狄拉克与海维赛德分布——可使DBNs模拟双栈下推自动机，从而实现图灵完备性。
• 该构造通过将栈状态编码为实数，并利用确定性条件分布实现栈操作，忠实地模拟了图灵机。
• 当父节点为狄拉克分布、条件为海维赛德函数时，可通过改进的Lerner算法精确计算后验边际分布，且无数值积分误差。
• 在任意精度算术下，推理仅引入常数时间开销，支持图灵机的实时模拟。
• 该结果建立了循环神经网络与动态贝叶斯网络在表达能力上的形式等价性，二者在相似条件下均为图灵完备。