[论文解读] The thermodynamic temperature of a rhythmic spiking network

Paul Merolla, Tristan Ursell+1 more|arXiv (Cornell University)|Sep 28, 2010

Neural dynamics and brain function参考文献 17被引用 12

一句话总结

本文通过定义由泊松分布输入噪声产生的温度，为脉冲神经网络引入了一套热力学框架，使脉冲发放呈现出类似于统计力学的随机性。通过施加全局抑制节律并使用较短的膜时间常数，作者实现了一个单层玻尔兹曼机，其脉冲神经元在离散吸引子之间表现出随机跃迁，展示了非平衡脉冲网络中对平衡统计力学的生物可实现类比。

ABSTRACT

Artificial neural networks built from two-state neurons are powerful computational substrates, whose computational ability is well understood by analogy with statistical mechanics. In this work, we introduce similar analogies in the context of spiking neurons in a fixed time window, where excitatory and inhibitory inputs drawn from a Poisson distribution play the role of temperature. For single neurons with a "bandgap" between their inputs and the spike threshold, this temperature allows for stochastic spiking. By imposing a global inhibitory rhythm over the fixed time windows, we connect neurons into a network that exhibits synchronous, clock-like updating akin to neural networks. We implement a single-layer Boltzmann machine without learning to demonstrate our model.

研究动机与目标

• 建立脉冲神经网络的热力学类比，其中噪声的作用类似于统计力学中的温度。
• 解决非平衡脉冲网络中缺乏一致温度定义的问题，该问题破坏了与统计力学的联系。
• 使标准神经网络算法（如玻尔兹曼机）能够使用具有随机动力学的脉冲神经元实现。
• 在固定时间窗口内，为整合-放电神经元定义可测量的能带隙和有效温度，确保网络内的一致性。
• 证明节律性抑制与泊松输入噪声可产生类似于平衡统计力学的随机吸引子动力学。

提出的方法

• 将整合-放电（I&F）神经元的能带隙定义为阈值与输入电流之差，使用固定时间窗口 $T_W$ 限制放电机会。
• 采用较短的膜时间常数 ($\tau_m \ll T_W$)，使膜电位快速饱和，从而实现稳定、时间不变的能带隙，并简化热力学解释。
• 引入泊松分布的兴奋性与抑制性输入以模拟热噪声，输入速率作为网络的热力学温度。
• 施加全局方波抑制节律，以规则间隔重置所有神经元，实现放电同步，支持类似离散时间的更新。
• 构建一个由 I&F 神经元构成的递归网络，其权重矩阵基于四个二值吸引子（75% 稀疏度，30% 重叠），模拟玻尔兹曼机。
• 使用二值网络状态（每个时间窗口内放电或无放电）计算与存储模式的相关性，追踪在吸引子之间的随机跃迁。

实验结果

研究问题

• RQ1 能否为一个未达到热平衡的脉冲神经网络定义有意义的热力学温度？
• RQ2 如何利用泊松分布的输入噪声以类似于统计力学中温度的方式控制随机放电？
• RQ3 全局抑制节律能否在脉冲网络中实现同步的离散时间更新，从而建立与人工神经网络的类比？
• RQ4 尽管具有非平衡动力学，脉冲网络在多大程度上能表现出类似于玻尔兹曼机的随机吸引子动力学？
• RQ5 在特定生物物理约束下，固定时间窗口内脉冲神经元的转移函数是否能良好地近似为逻辑函数或阶跃函数？

主要发现

• 网络在四个存储的二值模式之间表现出随机跃迁，相关性在某一吸引子周围波动，证实了玻尔兹曼样动力学。
• 使用泊松输入噪声有效设定了网络的热力学温度，实现了与平衡统计力学中类似的概率态跃迁。
• 全局抑制节律成功地在所有神经元中强制实现了同步的离散时间更新，使网络能量与温度的测量保持一致。
• 在 $\tau_m \ll T_W$ 条件下，能带隙概念定义良好，实现了输入电流与放电概率之间的稳定映射。
• 网络状态轨迹显示出在吸引子之间的突变跃迁，这是玻尔兹曼机中非零温度动力学的典型特征。
• 该模型表明，仅通过噪声和节律性抑制，脉冲神经元即可实现标准神经网络算法（如玻尔兹曼机）而无需学习。