[论文解读] Stochastic inference with deterministic spiking neurons

Mihai A. Petrovici, Johannes Bill+3 more|arXiv (Cornell University)|Nov 13, 2013

Neural dynamics and brain function被引用 22

一句话总结

该论文表明，当嵌入到噪声脉冲发放环境中时，由确定性漏电整合-放电神经元构成的循环网络可以通过从目标后验分布中采样来实现精确的贝叶斯推理。通过解析推导与仿真，该研究证明网络能够实现与吉布斯采样一致的放电统计特性，从而在确定性神经元动力学下实现基于样本的概率推理。

ABSTRACT

The seemingly stochastic transient dynamics of neocortical circuits observed in vivo have been hypothesized to represent a signature of ongoing stochastic inference. In vitro neurons, on the other hand, exhibit a highly deterministic response to various types of stimulation. We show that an ensemble of deterministic leaky integrate-and-fire neurons embedded in a spiking noisy environment can attain the correct firing statistics in order to sample from a well-defined target distribution. We provide an analytical derivation of the activation function on the single cell level; for recurrent networks, we examine convergence towards stationarity in computer simulations and demonstrate sample-based Bayesian inference in a mixed graphical model. This establishes a rigorous link between deterministic neuron models and functional stochastic dynamics on the network level.

研究动机与目标

• 弥合确定性神经元模型与神经回路中随机推理之间的差距。
• 证明确定性神经元能够再现对从明确定义的概率分布中采样的统计动力学要求。
• 建立确定性单神经元动力学与贝叶斯推理中网络层面随机行为之间的功能联系。
• 在循环脉冲网络中，利用生物可实现的确定性神经元模型实现基于样本的贝叶斯推理。

提出的方法

• 网络采用基于电导的突触连接的漏电积分-放电（LIF）神经元，并采用基于膜电位阈值穿越的确定性放电规则。
• 通过随机突触输入引入噪声，形成高电导状态，诱导膜电位的扩散性波动。
• 对膜电位进行解析推导，使其匹配吉布斯采样所需的激活函数，从而确保正确的放电统计特性。
• 网络的循环连接结构实现了一个玻尔兹曼机，其中权重和偏置编码目标后验分布。
• 不应期被设定为等于激活持续时间 $\tau_{\mathrm{on}}$，与采样时间窗对齐。
• 仿真验证了系统收敛至平稳状态，并在不完全观测条件下展示了对先验和后验分布的正确采样。

实验结果

研究问题

• RQ1 在噪声环境中，确定性脉冲神经元能否再现贝叶斯采样所需的随机动力学？
• RQ2 如何推导确定性神经元的激活函数，以匹配吉布斯采样的统计要求？
• RQ3 高电导状态在实现基于确定性神经元的随机推理中起何种功能作用？
• RQ4 建模简化（如绝对不应期、独立噪声）在多大程度上影响采样精度？
• RQ5 此类网络能否在面对部分或模糊感官输入时实现在线、任意时间的贝叶斯推理？

主要发现

• 当提供部分观测时，网络在混合图模型中成功从目标后验分布 $p(\boldsymbol{z}|\boldsymbol{y})$ 中采样。
• 在20 ms方窗滤波下，网络表现出正确的边缘统计特性，其不同模式与循环权重矩阵中存储的数字相对应。
• 当输入模糊（例如与数字0不兼容）时，后验分布对数字0的概率被抑制，且在数字3和4之间表现出双峰不确定性。
• 仿真中网络收敛至平稳状态，轨迹随时间在分布的不同模式间移动，反映出正确的采样动力学。
• 解析推导表明，有效膜电位 $v_k = b_k + y_k + \sum_j W_{kj} z_j$ 与吉布斯采样所需的表达形式一致。
• 尽管采用了简化假设（如绝对不应期、瞬时传递），仿真结果在大多数情况下显示与目标分布的偏差极小。