[论文解读] Winner-Take-All as Basic Probabilistic Inference Unit of Neuronal Circuits

Zhaofei Yu, Yonghong Tian+2 more|arXiv (Cornell University)|Aug 2, 2018

Neural dynamics and brain function参考文献 25被引用 5

一句话总结

本文提出，获胜者通吃（WTA）皮层微环路可作为概率推理的基本神经实现，其动态过程与概率图模型中的平均场变分推理完全一致。每个WTA环路通过神经元放电率编码边缘概率，相互连接的WTA环路可表示联合分布，其推理精度与信念传播和平均场近似相当。

ABSTRACT

Experimental observations of neuroscience suggest that the brain is working a probabilistic way when computing information with uncertainty. This processing could be modeled as Bayesian inference. However, it remains unclear how Bayesian inference could be implemented at the level of neuronal circuits of the brain. In this study, we propose a novel general-purpose neural implementation of probabilistic inference based on a ubiquitous network of cortical microcircuits, termed winner-take-all (WTA) circuit. We show that each WTA circuit could encode the distribution of states defined on a variable. By connecting multiple WTA circuits together, the joint distribution can be represented for arbitrary probabilistic graphical models. Moreover, we prove that the neural dynamics of WTA circuit is able to implement one of the most powerful inference methods in probabilistic graphical models, mean-field inference. We show that the synaptic drive of each spiking neuron in the WTA circuit encodes the marginal probability of the variable in each state, and the firing probability (or firing rate) of each neuron is proportional to the marginal probability. Theoretical analysis and experimental results demonstrate that the WTA circuits can get comparable inference result as mean-field approximation. Taken together, our results suggest that the WTA circuit could be seen as the minimal inference unit of neuronal circuits.

研究动机与目标

• 识别一种能够实现大脑中概率推理的最小通用神经环路基序。
• 建立WTA神经动力学与概率图模型（PGM）中平均场推理之间的理论等价性。
• 证明WTA环路可通过突触权重和输入编码势函数，表示任意联合分布。
• 验证每个WTA环路中神经元的放电率准确编码了变量处于某一状态的边缘概率。
• 表明基于WTA的推理可扩展至具有任意拓扑结构的复杂PGM，包括链式、环状和全连接图。

提出的方法

• 将WTA环路形式化为具有侧向抑制的脉冲神经元网络，其中兴奋性神经元通过抑制性中间神经元相互竞争。
• 推导每个神经元突触驱动的连续时间微分方程，证明其在数学上等价于平均场推理的更新规则。
• 将每个神经元的放电率映射为变量状态的边缘概率，采用线性比例因子（例如，50 Hz = 概率 1.0）。
• 利用相互连接的WTA环路网络表示马尔可夫随机场（MRF）的联合分布，其中突触权重编码势函数。
• 在各种MRF拓扑结构（链式、环状、全连接）上模拟WTA网络的脉冲动力学，并将推理结果与信念传播和平均场近似进行比较。
• 使用信念传播得到的边缘概率与WTA网络放电率之间的相对误差来评估推理精度。

实验结果

研究问题

• RQ1 获胜者通吃（WTA）环路能否作为皮层微环路中概率推理的最小神经基序？
• RQ2 WTA环路的动力学与概率图模型中平均场变分推理之间是否存在精确的数学等价性？
• RQ3 WTA环路能否通过突触权重和输入编码势函数，表示任意联合分布？
• RQ4 WTA神经元的放电率是否能准确反映概率模型中变量状态的边缘概率？
• RQ5 基于WTA的推理能否扩展至复杂图拓扑结构，并与信念传播和平均场近似等成熟推理算法性能相当？

主要发现

• 每个WTA环路中神经元的突触驱动在数学上等价于边缘概率的平均场推理更新方程。
• 每个WTA神经元的放电率与对应变量状态的边缘概率成正比，且与概率空间存在线性映射关系（例如，50 Hz = 1.0）。
• 在链式、单环和全连接拓扑的MRF上，WTA网络实现的推理精度与信念传播和平均场近似相当。
• 在全连接图中，WTA推理产生的边缘概率比平均场近似更少出现过度自信，与信念传播结果更一致。
• WTA放电率与信念传播边缘概率之间的相对误差随时间减小，表明其收敛至准确推理。
• 理论分析与仿真结果共同证实，相互连接的WTA环路可表示并推断任意概率图模型中的联合分布。