[论文解读] Predictive coding in balanced neural networks with noise, chaos and delays

Jonathan Kadmon, Jonathan Timcheck+1 more|arXiv (Cornell University)|Jun 25, 2020

Neural dynamics and brain function被引用 25

一句话总结

本文提出了一种在脉冲神经网络中可理论分析的平衡预测编码模型，将平衡与突触无序分离，从而解析推导出编码精度。结果表明，紧密平衡可实现超经典误差标度 $1/N$，且对噪声、混沌和延迟具有鲁棒性，揭示了平衡在生物网络中高保真预测编码中的根本作用。

ABSTRACT

Biological neural networks face a formidable task: performing reliable computations in the face of intrinsic stochasticity in individual neurons, imprecisely specified synaptic connectivity, and nonnegligible delays in synaptic transmission. A common approach to combatting such biological heterogeneity involves averaging over large redundant networks of $N$ neurons resulting in coding errors that decrease classically as $1/\\sqrt{N}$. Recent work demonstrated a novel mechanism whereby recurrent spiking networks could efficiently encode dynamic stimuli, achieving a superclassical scaling in which coding errors decrease as $1/N$. This specific mechanism involved two key ideas: predictive coding, and a tight balance, or cancellation between strong feedforward inputs and strong recurrent feedback. However, the theoretical principles governing the efficacy of balanced predictive coding and its robustness to noise, synaptic weight heterogeneity and communication delays remain poorly understood. To discover such principles, we introduce an analytically tractable model of balanced predictive coding, in which the degree of balance and the degree of weight disorder can be dissociated unlike in previous balanced network models, and we develop a mean field theory of coding accuracy. Overall, our work provides and solves a general theoretical framework for dissecting the differential contributions neural noise, synaptic disorder, chaos, synaptic delays, and balance to the fidelity of predictive neural codes, reveals the fundamental role that balance plays in achieving superclassical scaling, and unifies previously disparate models in theoretical neuroscience.

研究动机与目标

• 理解在噪声、突触无序和传输延迟等生物约束下，平衡神经网络中的预测编码如何保持高保真度。
• 区分平衡、突触无序、混沌和延迟在决定循环脉冲网络中编码精度方面的作用。
• 发展一种平均场理论，以量化这些因素对预测编码性能的影响。
• 通过揭示平衡在实现超经典误差标度中的根本作用，统一不同的神经计算模型。

提出的方法

• 构建一个理论上可分析的模型，使平衡与突触无序可分离，从而实现精确的理论分析。
• 应用动态平均场理论，计算预测误差的方差和神经活动的波动。
• 使用带有色噪声的朗之万型方程来模拟预测误差的动力学，反馈增益 $b \propto N$ 以实现紧密平衡。
• 推导出读出信号的稳态方差 $\langle\delta\hat{x}^2\rangle \approx \frac{\langle\phi'\rangle^2 g^2}{2\tilde{b}^2 N}$，证实了 $1/N$ 标度。
• 通过特征方程 $G(z) = z\tau + 1 + \tilde{b}e^{-zD} = 0$ 分析延迟反馈，识别稳定性和共振条件。
• 应用维纳-辛钦定理计算总波动方差，纳入临界平衡 $\tilde{b}_c$ 附近的共振效应。

实验结果

研究问题

• RQ1 实现超经典 $1/N$ 误差标度所需的最小平衡程度是什么？
• RQ2 噪声、突触无序和传输延迟如何影响平衡网络中预测编码的保真度？
• RQ3 神经回路中经典平衡（混沌波动）与紧密平衡（预测编码）之间存在何种相互作用？
• RQ4 当反馈存在延迟时，网络如何维持稳定性和准确性？
• RQ5 是否存在一个统一的理论框架，能够解释在多种生物来源的变异性下预测编码的鲁棒性？

主要发现

• 由于反馈中的紧密平衡，该模型实现了超经典的误差标度 $1/N$，显著优于经典的 $1/\sqrt{N}$。
• 预测误差的稳态方差为 $\langle\delta\hat{x}^2\rangle \approx \frac{\langle\phi'\rangle^2 g^2}{2\tilde{b}^2 N}$，证实了 $1/N$ 标度。
• 在临界平衡 $\tilde{b}_c$ 附近，波动出现共振放大，功率谱密度为 $\hat{\Delta}(\omega_c) \approx \frac{\sigma^2}{2N(\tilde{b}_c - \tilde{b})^2}$。
• 对于小延迟 $d \ll \tau$，共振效应可忽略不计，因为 $\hat{q}(\omega_c) \ll 1$，从而抑制了不稳定性。
• 该理论统一了预测编码与平衡网络动力学，表明在生物约束下，平衡是实现高保真编码的根本要素。
• 该模型揭示，只要 $\tilde{b} < \tilde{b}_c$，即使存在由突触无序引起的混沌，也不会破坏预测编码。