[论文解读] Spike-based probabilistic inference with correlated noise

Ilja Bytschok, Dominik Dold+3 more|arXiv (Cornell University)|Jul 6, 2017

Neural dynamics and brain function参考文献 1被引用 7

一句话总结

本文表明，通过系统性调整突触权重和偏置，脉冲神经网络中的基于脉冲的概率推理对相关噪声仍具有鲁棒性。关键贡献在于建立了噪声相关性与网络参数之间的双射映射，即使在共享输入噪声的情况下也能实现精确的玻尔兹曼分布采样，从而保持学习性能。

ABSTRACT

A steadily increasing body of evidence suggests that the brain performs probabilistic inference to interpret and respond to sensory input and that trial-to-trial variability in neural activity plays an important role. The neural sampling hypothesis interprets stochastic neural activity as sampling from an underlying probability distribution and has been shown to be compatible with biologically observed firing patterns. In many studies, uncorrelated noise is used as a source of stochasticity, discounting the fact that cortical neurons may share a significant portion of their presynaptic partners, which impacts their computation. This is relevant in biology and for implementations of neural networks where bandwidth constraints limit the amount of independent noise. When receiving correlated noise, the resulting correlations cannot be directly countered by changes in synaptic weights $W$. We show that this is contingent on the chosen coding: when changing the state space from $z\in\{0,1\}$ to $z'\in\{-1,1\}$, correlated noise has the exact same effect as changes in $W'$. The translation of the problem to the $\{-1,1\}$ space allows to find a weight configuration that compensates for the induced correlations. For an artificial embedding of sampling networks, this allows a straightforward transfer between platforms with different bandwidth constraints. The existence of the mapping is important for learning. Since in the $\{-1,1\}$-coding the correlated noise can be compensated by parameter changes and the probability distribution can be kept invariant when changing the coding, the distribution will be found in the $\{0,1\}$-coding as well during learning, as demonstrated in simulations. Conclusively, sampling spiking networks are impervious to noise correlations when trained. If such computation happens in cortex, network plasticity does not need to take account of shared noise inputs.

研究动机与目标

• 研究共享突触前输入引起的噪声相关性如何影响脉冲神经网络中的概率推理。
• 确定此类噪声是否会干扰脉冲网络从目标玻尔兹曼分布中采样。
• 开发一种在保持网络学习和从期望分布中采样能力的同时补偿噪声相关性的方法。
• 实现在带宽受限或生物上合理的条件下存在共享噪声源时，脉冲网络的可靠训练。

提出的方法

• 作者使用漏电整合-放电（LIF）神经元对脉冲网络进行建模，其活动被解释为对二值状态上玻尔兹曼分布的采样。
• 引入从 {0,1} 神经元状态到 {-1,1} 状态的变换，以简化对噪声相关性和权重影响的分析。
• 利用相关系数 r 作为中间变量，在 {-1,1} 状态空间中推导出共享噪声比 s 与所需突触权重变化 ΔW′ 之间的双射映射。
• 通过变换 W = 4W′ 和 b = 2b′ + 2W′ 将该映射转换回 {0,1} 状态空间，同时保持概率分布不变。
• 通过比较补偿前后采样分布与目标分布之间的 KL 散度，在 2- 和 10-神经元 LIF 网络中验证了补偿方法的有效性。
• 直接将唤醒-睡眠学习算法应用于 LIF 网络，以证明尽管存在噪声相关性，学习仍具有效性。

实验结果

研究问题

• RQ1 脉冲神经网络中的相关噪声是否会导致无法准确从目标玻尔兹曼分布中采样？
• RQ2 共享噪声输入的存在是否会改变脉冲网络可采样的分布族？
• RQ3 是否能通过系统性调整突触权重和偏置完全补偿相关噪声的影响？
• RQ4 该补偿方法在不同网络规模和噪声相关性水平下是否具有鲁棒性？
• RQ5 当存在噪声相关性时，标准学习规则（如唤醒-睡眠）在脉冲网络中是否仍具有效性？

主要发现

• 相关噪声会将概率质量向同步状态 (0,0) 和 (1,1) 偏移，这与增加突触权重 Wij 的影响不同。
• 尽管存在相关噪声，采样分布仍然是玻尔兹曼分布，尽管参数被修改，从而保持了神经采样理论框架的完整性。
• 在 {-1,1} 状态空间中，推导出了噪声相关性强度 s 与所需突触权重变化 ΔW′ 之间的双射映射，实现了精确补偿。
• 在使用推导出的映射完成补偿后，由共享噪声引起的采样误差几乎完全恢复，测试分布的 KL 散度降低至接近零。
• 唤醒-睡眠学习算法在性能上优于直接将玻尔兹曼机参数映射到 LIF 网络的方法，表明端到端训练对动力学差异更具鲁棒性。
• 结果表明，只要实施适当的参数补偿，网络可塑性无需显式考虑噪声相关性。