[论文解读] Statistical Mechanics of Recurrent Neural Networks II. Dynamics

A C C Coolen|arXiv (Cornell University)|Jun 1, 2000

Neural Networks and Applications参考文献 14被引用 33

一句话总结

本文运用非平衡统计力学方法，解决了具有生物现实特征（如非对称突触和分级响应神经元）的循环神经网络的动力学问题，克服了平衡方法的局限性。在简单情形下推导出封闭的宏观方程，并在接近饱和的复杂、玻璃态动力学中采用生成泛函方法，表明在复杂情形下，突触非对称性——而非稀释性——是驱动动力学简化的主因。

ABSTRACT

A lecture notes style review of the non-equilibrium statistical mechanics of recurrent neural networks with discrete and continuous neurons (e.g. Ising, graded-response, coupled-oscillators). To be published in the Handbook of Biological Physics (North-Holland). Accompanied by a similar review (part I) dealing with the statics.

研究动机与目标

• 将循环神经网络的统计力学分析从平衡静态情形扩展至动态行为。
• 解决平衡方法中生物不现实的约束，如细致平衡和对称突触。
• 为具有二进制和连续神经元的网络（包括全连接和极度稀释网络）建立可处理的动力学定律。
• 证明非平衡方法能够处理真实的突触非对称性，且无需依赖细致平衡。
• 建立一个框架，利用生成泛函方法和副本理论分析接近饱和时的复杂玻璃态动力学。

提出的方法

• 使用非平衡统计力学，从微观神经元动力学推导宏观动力学定律。
• 在复杂情形下应用生成泛函技术，处理两时间关联函数和响应函数。
• 采用副本对称性破缺（RSB）形式化分析接近饱和时的相变和玻璃态行为。
• 在简单情形下推导出单时间宏观可观测量（如磁化强度、关联函数）的封闭确定性微分方程。
• 在对称与非对称突触连接下，分析二进制和连续（分级响应）神经元。
• 使用离散时间的生成泛函，系统推导关联函数和响应函数的方程。

实验结果

研究问题

• RQ1 如何利用非平衡统计力学建模具有非对称突触的循环神经网络的动力学？
• RQ2 在简单情形下，具有二进制和连续神经元的吸引子网络的动力学由何种宏观定律支配？
• RQ3 突触非对称性如何影响接近饱和时玻璃态动力学的出现？
• RQ4 网络稀释性在复杂情形下对简化宏观动力学起到何种作用？
• RQ5 生成泛函技术能否为复杂、非平衡神经动力学中的关联函数和响应函数提供精确或近似解？

主要发现

• 非平衡统计力学使具有非对称突触的循环网络实现精确的动力学求解，无需依赖细致平衡。
• 在简单情形下，成功推导出二进制和连续神经元的单时间宏观量（如磁化强度、关联函数）的封闭确定性方程。
• 对于极度稀释网络，接近饱和时宏观动力学的简化源于突触对称性的缺失，而非稀释性本身。
• 相图显示，在RSB形式化中，自旋玻璃（SG）行为的转变发生在αc = 1处，而副本对称近似下的F → SG线为物理上不合理的。
• 生成泛函方法成功捕捉了复杂情形下的非平凡玻璃态动力学，包括两时间关联函数和响应函数。
• 结果表明，与平衡方法相比，非平衡方法更适合于建模具有非对称连接和分级响应的生物现实神经网络。