[论文解读] Self-organized criticality in neural networks

M. I. Katsnelson, Vitaly Vanchurin+1 more|arXiv (Cornell University)|Jul 7, 2021

Neural Networks and Applications参考文献 17被引用 9

一句话总结

本文通过分析和数值方法证明，神经网络的训练动力学自然地使其趋向于一种自组织临界态，其特征是可训练参数的尺度不变波动。该机制源于竞争动力学：非可训练变量（如神经元状态）的快速随机平衡与可训练变量（如权重）的缓慢学习驱动演化，通过概率分布中的软模在中间尺度上引发临界性。

ABSTRACT

We demonstrate, both analytically and numerically, that learning dynamics of neural networks is generically attracted towards a self-organized critical state. The effect can be modeled with quartic interactions between non-trainable variables (e.g. states of neurons) and trainable variables (e.g. weight matrix). Non-trainable variables are rapidly driven towards stochastic equilibrium and trainable variables are slowly driven towards learning equilibrium described by a scale-invariant distribution on a wide range of scales. Our results suggest that the scale invariance observed in many physical and biological systems might be due to some kind of learning dynamics and support the claim that the universe might be a neural network.

研究动机与目标

• 研究神经网络的训练动力学是否能导致自组织临界性。
• 识别可训练变量在神经网络中演化为尺度不变分布的机制。
• 建立训练动力学与物理和生物系统中观测到的临界性出现之间的联系。
• 探讨该临界态对神经网络效率、压缩性以及基础物理学的启示。

提出的方法

• 使用统计物理框架对学习系统建模，包含两类变量：非可训练变量（快速平衡）和可训练变量（在学习作用下缓慢演化）。
• 在损失函数中引入非可训练变量与可训练变量之间的四次耦合项，实现熵最大化与熵最小化之间的竞争。
• 应用最大熵原理，推导出条件分布 p(x|q) 和可训练变量 q 的有效自由能 F(β,q)。
• 在局部平衡附近使用微扰展开，识别出导致尺度不变波动的软模。
• 对前馈神经网络进行数值模拟，追踪权重分布和权重更新的功率谱演化。
• 分析权重动力学的功率谱 P(f)，检测 1/f^a 行为，表明在长 timescales 上呈现临界性。

实验结果

研究问题

• RQ1 神经网络的训练动力学是否能导致具有可训练参数尺度不变波动的自组织临界态？
• RQ2 在训练过程中，网络权重分布中尺度不变性的根本机制是什么？
• RQ3 神经元状态的快速随机动力学与权重的缓慢学习动力学之间的竞争如何引发临界性？
• RQ4 波动的尺度不变范围在多大程度上与单个权重的重要性或训练质量相关？
• RQ5 该框架能否解释物理和生物系统中自组织临界性的普遍性？

主要发现

• 神经网络的训练动力学普遍地将可训练变量驱动至跨广泛尺度的尺度不变分布，表明存在自组织临界性。
• 在中间尺度上，概率分布表现出软模，这些软模负责尺度不变波动。
• 在长 timescales 上，权重更新的功率谱遵循 P(f) ∝ 1/f^a 且 a < 2，表明临界动力学与白噪声（1/f^2）有本质区别。
• 在短 timescales 上，系统表现为局部最小值，具有不相关的跳跃，与 P(f) ∝ 1/f^2 一致。
• 可训练变量波动的振幅与尺度不变范围的宽度呈反比，提示可作为识别非关键连接的定量指标。
• 结果支持如下假设：宇宙本身可能是一个经历学习演化的神经网络，物理定律可能由此类临界动力学中涌现。