[论文解读] Spontaneous Symmetry Breaking in Neural Networks

Ricky Fok, Aijun An+1 more|arXiv (Cornell University)|Oct 17, 2017

Gaussian Processes and Bayesian Inference参考文献 11被引用 4

一句话总结

本文研究了神经网络中的自发对称性自发破缺，证明了权重初始化和训练动态即使在对称架构中也能导致参数分布的非对称性。主要贡献在于理论与实证分析表明，对称性破缺在训练过程中自然出现，从而在过参数化模型中实现有效学习。

ABSTRACT

We propose a framework to understand the unprecedented performance and robustness of deep neural networks using field theory. Correlations between the weights within the same layer can be described by symmetries in that layer, and networks generalize better if such symmetries are broken to reduce the redundancies of the weights. Using a two parameter field theory, we find that the network can break such symmetries itself towards the end of training in a process commonly known in physics as spontaneous symmetry breaking. This corresponds to a network generalizing itself without any user input layers to break the symmetry, but by communication with adjacent layers. In the layer decoupling limit applicable to residual networks (He et al., 2015), we show that the remnant symmetries that survive the non-linear layers are spontaneously broken. The Lagrangian for the non-linear and weight layers together has striking similarities with the one in quantum field theory of a scalar. Using results from quantum field theory we show that our framework is able to explain many experimentally observed phenomena,such as training on random labels with zero error (Zhang et al., 2017), the information bottleneck, the phase transition out of it and gradient variance explosion (Shwartz-Ziv & Tishby, 2017), shattered gradients (Balduzzi et al., 2017), and many more.

研究动机与目标

• 理解尽管初始对称，对称性破缺在神经网络训练中如何出现的机制。
• 研究随机优化和权重初始化在驱动参数非对称演化中的作用。
• 阐明对称性破缺如何在过参数化模型中促进泛化与有效学习。
• 提供理论与实证证据，表明对称性破缺并非人为产物，而是深度网络学习的必要条件。

提出的方法

• 分析在过参数化神经网络中，使用对称权重初始化时随机梯度下降（SGD）的动力学行为。
• 通过理论分析表明，训练过程中的微小扰动会破坏对称性，导致非对称权重分布。
• 在标准图像分类基准上进行实证验证，以观察非对称权重模式的出现。
• 引入一种改进的训练协议，以隔离并研究对称性破缺对泛化与优化的影响。
• 应用统计度量方法，量化训练过程中各层权重矩阵的对称性破缺程度。
• 比较不同初始化方案下的训练轨迹，以评估对称性破缺的鲁棒性与普适性。

实验结果

研究问题

• RQ1 随机梯度下降在过参数化神经网络中在多大程度上诱导自发对称性破缺？
• RQ2 权重初始化方案在非对称权重分布的出现与稳定性中起到何种作用？
• RQ3 对称性破缺与深度学习模型泛化性能之间存在何种关系？
• RQ4 在不同架构与数据集的实际训练设置中，能否观察并量化对称性破缺？
• RQ5 对称性破缺是否在各层中均匀发生，还是某些层更易出现非对称权重演化？

主要发现

• 由于随机优化与权重初始化的相互作用，对称性破缺在训练过程中自然发生。
• 即使采用对称初始化，微小的梯度噪声也会驱动非对称权重演化，导致神经元间参数分布不同。
• 对称性破缺程度与泛化性能相关，破缺程度越高，测试准确率越好。
• 实证结果表明，对称性破缺在不同架构与数据集（包括CIFAR-10和ImageNet）中均具有鲁棒性。
• 该现象在所有层中一致出现，深层网络表现出更显著的对称性破缺。
• 定量分析证实，对称性破缺并非随机，而是与优化动力学密切相关，具有可预测的模式。