[论文解读] The Quenching-Activation Behavior of the Gradient Descent Dynamics for Two-layer Neural Network Models

Chao Ma, Lei Wu+1 more|arXiv (Cornell University)|Jun 25, 2020

Neural Networks and Applications参考文献 23被引用 6

一句话总结

本文研究了在Xavier类初始化下两层神经网络中梯度下降的动力学行为，揭示了一种类淬灭-激活相变现象：早期大多数神经元被抑制，随后少数主导神经元被激活，从而实现隐式正则化并提升泛化性能。该行为与均场标度形成鲜明对比，在均场标度下所有神经元均匀演化，不会出现此类相变。

ABSTRACT

A numerical and phenomenological study of the gradient descent (GD) algorithm for training two-layer neural network models is carried out for different parameter regimes when the target function can be accurately approximated by a relatively small number of neurons. It is found that for Xavier-like initialization, there are two distinctive phases in the dynamic behavior of GD in the under-parametrized regime: An early phase in which the GD dynamics follows closely that of the corresponding random feature model and the neurons are effectively quenched, followed by a late phase in which the neurons are divided into two groups: a group of a few "activated" neurons that dominate the dynamics and a group of background (or "quenched") neurons that support the continued activation and deactivation process. This neural network-like behavior is continued into the mildly over-parametrized regime, where it undergoes a transition to a random feature-like behavior. The quenching-activation process seems to provide a clear mechanism for "implicit regularization". This is qualitatively different from the dynamics associated with the "mean-field" scaling where all neurons participate equally and there does not appear to be qualitative changes when the network parameters are changed.

研究动机与目标

• 理解两层神经网络在梯度下降训练过程中隐式正则化机制的内在机理。
• 研究在过参数化与欠参数化情形下，常规标度与均场标度之间训练动力学的差异。
• 探讨在常规标度下，淬灭-激活过程是否提供了一种超越随机特征模型的泛化性能提升机制。
• 刻画随着网络宽度增加，神经网络类行为与随机特征类行为之间的转变过程。
• 阐明初始化方式（如Xavier）在塑造两层网络中梯度下降轨迹与收敛行为中的作用。

提出的方法

• 对具有ReLU激活函数的两层神经网络进行梯度下降的数值模拟，目标函数属于Barron类。
• 在相同初始化条件下，对比常规标度（无1/m因子）与均场标度（含1/m因子）下的训练动力学。
• 追踪神经元层面的动力学：外层权重、内层参数及其随时间的演化过程。
• 分析在不同网络宽度（m）与数据集大小（n）下，测试误差与泛化差距的变化。
• 通过重标度建立常规与均场轨迹之间的一一对应关系：ã = a/m，B̃ = mB。
• 评估路径范数与Barron范数的增长，以评估隐式正则化效应。

实验结果

研究问题

• RQ1 在常规标度下，两层神经网络的梯度下降是否表现出从神经元淬灭到激活的相变？
• RQ2 与所有神经元均匀演化的均场标度相比，淬灭-激活行为有何不同？
• RQ3 淬灭-激活过程是否可作为隐式正则化的机制，防止路径范数无控制增长？
• RQ4 随着网络宽度增加，神经网络类行为与随机特征类行为之间的转变点是什么？
• RQ5 与均场标度不同，常规标度是否能避免泛化误差中的维度灾难？

主要发现

• 在欠参数化情形下，梯度下降表现出两个阶段：早期为多数神经元不活跃的淬灭阶段，随后进入少数激活神经元主导动力学的后期阶段。
• 激活的神经元负责拟合目标函数，而被淬灭的神经元则支持动态过程，从而实现隐式正则化。
• 该淬灭-激活机制导致路径范数受控增长，有助于维持良好的泛化性能。
• 在轻度过参数化情形下，淬灭-激活行为持续存在，随后过渡为类似随机特征的动力学。
• 在均场标度下，所有神经元显著演化，动力学更平滑，但当m ~ n时泛化性能下降，这是由于维度灾难所致。
• 常规与均场轨迹之间的一一对应关系表明，动力学差异源于初始参数的标度方式，而非底层优化过程本身。