[论文解读] Towards Understanding the Condensation of Neural Networks at Initial Training

Hanxu Zhou, Zhou, Qixuan+3 more|arXiv (Cornell University)|May 25, 2021

Neural Networks and Applications参考文献 24被引用 8

一句话总结

本文研究了在小初始化条件下，过参数化 ReLU 神经网络在初始训练过程中如何引发权重凝聚。研究发现，凝聚的输入权重方向的最大数量是激活函数在零点处重数的两倍。理论分析证实，对于重数为一的激活函数（例如 ReLU、GELU）以及一维输入，该结论成立，揭示了激活函数平滑性与通过凝聚实现隐式正则化之间的根本联系。

ABSTRACT

Empirical works show that for ReLU neural networks (NNs) with small initialization, input weights of hidden neurons (the input weight of a hidden neuron consists of the weight from its input layer to the hidden neuron and its bias term) condense on isolated orientations. The condensation dynamics implies that the training implicitly regularizes a NN towards one with a much smaller effective size. In this work, we illustrate the formation of the condensation in multi-layer fully connected NNs and show that the maximal number of condensed orientations in the initial training stage is twice the multiplicity of the activation function, where "multiplicity" indicates the multiple roots of activation function at origin. Our theoretical analysis confirms experiments for two cases, one is for the activation function of multiplicity one with arbitrary dimension input, which contains many common activation functions, and the other is for the layer with one-dimensional input and arbitrary multiplicity. This work makes a step towards understanding how small initialization leads NNs to condensation at the initial training stage.

研究动机与目标

• 理解在小初始化条件下，过参数化神经网络在早期训练中输入权重凝聚机制的成因。
• 确定激活函数在零点处的重数与凝聚权重方向最大数量之间的关系。
• 为多层全连接网络中观察到的凝聚现象提供理论依据。
• 将先前针对两层 ReLU 网络的研究扩展至一般激活函数和更深架构。

提出的方法

• 针对两种情形进行理论分析：(1) 重数为一的激活函数，且输入维度任意；(2) 一维输入，且激活函数重数任意。
• 通过早期训练过程中输入权重的动力学行为分析凝聚现象，重点关注其如何对齐至孤立方向。
• 激活函数在零点处的重数定义为导数为零的阶数，即第 p 阶导数非零，而前 p-1 阶导数全为零。
• 在多层全连接网络上进行实验，采用多种激活函数（如 ReLU、GELU、x²tanh(x)）以验证理论预测。
• 通过隐藏神经元输入权重向量之间的夹角距离来量化凝聚方向的数量。
• 训练采用小高斯初始化、Adam 优化器，损失函数为交叉熵或均方误差，数据集包括 MNIST、CIFAR100 及合成的低频/高频函数。

实验结果

研究问题

• RQ1 是什么决定了神经网络在初始训练阶段凝聚的输入权重方向的最大数量？
• RQ2 激活函数在零点处的重数如何影响凝聚动力学？
• RQ3 能否构建一个理论框架，解释多层全连接网络中超越两层 ReLU 网络的凝聚现象？
• RQ4 目标函数的复杂度是否会影响凝聚方向的数量？

主要发现

• 在初始训练阶段，凝聚的输入权重方向的最大数量是激活函数在零点处重数的两倍。
• 对于重数为一的激活函数（如 ReLU、GELU、sigmoid），无论输入维度如何，凝聚方向的最大数量均为两个。
• 在一维输入设置下，凝聚方向的数量与重数的两倍一致，验证了理论预测。
• 实验结果表明，低频目标函数（如 MNIST、CIFAR100）导致更少的凝聚方向，与网络学习低复杂度函数的规律一致。
• 凝聚动力学将网络重置为更简单的状态，使网络在训练过程中逐步从简单表征向复杂表征演化。
• 理论分析证实，在小初始化条件下，凝聚现象自然出现，揭示了激活函数平滑性与隐式正则化之间的关联。