[论文解读] Neural Propagation of Beliefs

Michael Barber, J. W. Clark+1 more|arXiv (Cornell University)|Feb 23, 2001

Neural Networks and Applications参考文献 28被引用 3

一句话总结

本文提出了一种神经信念网络框架，将概率信息表示为概率密度函数（PDF）形式，分布在三个相互关联的空间中：隐式空间（贝叶斯信念网络）、最小空间（正交函数基）和显式空间（神经元放电率）。通过利用贝叶斯推断与正交函数展开，该模型使神经回路能够整合自下而上的感觉输入与自上而下的先验信息，展示了此类网络如何通过赢家通吃机制解析模糊的感觉数据，并在神经系统中实现一致的概率推理。

ABSTRACT

We continue to explore the hypothesis that neuronal populations represent and process analog variables in terms of probability density functions (PDFs). A neural assembly encoding the joint probability density over relevant analog variables can in principle answer any meaningful question about these variables by implementing the Bayesian rules of inference. Aided by an intermediate representation of the probability density based on orthogonal functions spanning an underlying low-dimensional function space, we show how neural circuits may be generated from Bayesian belief networks. The ideas and the formalism of this PDF approach are illustrated and tested with several elementary examples, and in particular through a problem in which model-driven top-down information flow influences the processing of bottom-up sensory input.

研究动机与目标

• 扩展假设：神经元群将模拟变量编码并处理为概率密度函数（PDF），以实现概率推理。
• 解决复杂概率模型（如涉及多个证据来源的模型）如何嵌入神经回路的问题。
• 建立一个正式框架，将抽象的贝叶斯信念网络与生物学上合理的神经网络实现相联系。
• 展示自上而下的、基于模型的信号如何通过概率推理在自下而上的感觉输入中施加全局规律性。
• 引入一种机制——赢家通吃单元，用于从多模态PDF中选择单一主导解释，从而在神经网络中实现决策。

提出的方法

• 使用最小函数空间中的正交基表示神经变量的PDF，实现高效的数学运算。
• 使用冗余的、过完备的解码函数集合，将抽象的PDF表示映射到显式空间中的神经元放电率。
• 应用编码与解码规则，在最小空间（PDF系数）与显式空间（神经元放电率）之间进行转换。
• 通过将贝叶斯信念网络结构转化为具有前向、反馈和侧向连接的神经回路架构，构建神经信念网络。
• 在高层变量（如z）的表示中实现赢家通吃动力学，以从多模态PDF中选择最可能的模式。
• 利用基于效用的竞争机制选择主导的神经表征，从而实现从概率输入中的决策。

实验结果

研究问题

• RQ1 神经元群如何以生物学上合理的方式表示并处理模拟变量的概率密度函数（PDF）？
• RQ2 如何系统地将贝叶斯信念网络转化为支持自下而上与自上而下信息流的神经回路模型？
• RQ3 正交函数展开在实现精确、低精度的神经PDF表示中起什么作用？
• RQ4 自上而下的、基于模型的信号如何通过概率推理解析自下而上的感觉输入中的模糊性？
• RQ5 赢家通吃机制能否整合进概率神经网络中，以从多模态分布中选择单一主导解释？

主要发现

• 通过将贝叶斯信念网络映射到正交函数的最小空间，可以构建神经信念网络，从而实现高效的概率计算。
• 从最小空间（PDF系数）到显式空间（神经元放电率）的转换，通过保持PDF准确性的编码与解码规则实现。
• 源自高层模型的自上而下信号可通过施加全局规律性，解析模糊的感觉输入，如在多模态预测输入中的表现所示。
• 由效用函数驱动的赢家通吃单元，成功从多模态PDF中选择出主导模式，使神经网络能够实现决策。
• 该框架支持感觉证据与先验知识的协调整合，即使在不确定条件下也能实现稳健推理。
• 该模型提供了一种正式且可扩展的协议，用于将概率模型嵌入神经回路，具有在视觉、电感应系统和注意力处理中的潜在应用。