[论文解读] The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks

Wei Hu, Lechao Xiao+2 more|arXiv (Cornell University)|Jun 25, 2020

Stochastic Gradient Optimization Techniques参考文献 54被引用 13

一句话总结

本文表明，在较弱的宽度和输入分布假设下，两层全连接神经网络的早期学习动态可被精确地由在输入数据上训练的简单线性模型所模拟。关键结果是一个谱范数界，显示网络在初始化时的神经正切核（NTK）紧密逼近线性模型的核，揭示了尽管网络具有非线性容量，其早期训练仍表现出惊人的简单性。

ABSTRACT

Modern neural networks are often regarded as complex black-box functions whose behavior is difficult to understand owing to their nonlinear dependence on the data and the nonconvexity in their loss landscapes. In this work, we show that these common perceptions can be completely false in the early phase of learning. In particular, we formally prove that, for a class of well-behaved input distributions, the early-time learning dynamics of a two-layer fully-connected neural network can be mimicked by training a simple linear model on the inputs. We additionally argue that this surprising simplicity can persist in networks with more layers and with convolutional architecture, which we verify empirically. Key to our analysis is to bound the spectral norm of the difference between the Neural Tangent Kernel (NTK) at initialization and an affine transform of the data kernel; however, unlike many previous results utilizing the NTK, we do not require the network to have disproportionately large width, and the network is allowed to escape the kernel regime later in training.

研究动机与目标

• 理解为何现代深度神经网络在高容量和非凸优化景观下仍能良好泛化。
• 研究神经网络是否仅在训练后期才学习复杂函数，还是首先学习简单、线性函数。
• 正式证明在行为良好的输入分布下，两层全连接网络的早期训练动态等价于线性模型。
• 将该洞见从全连接网络扩展到更深和卷积神经网络架构，涵盖理论和实证两方面。

提出的方法

• 作者界定了两层ReLU网络在初始化时的神经正切核（NTK）与数据核的仿射变换之间差异的谱范数。
• 他们使用浓度不等式和Hoeffding不等式，控制在随机权重初始化下NTK偏离线性模型核的偏差。
• 该分析依赖于谱范数而非Frobenius范数，这对于建立学习动态的等价性至关重要。
• 该方法适用于任何常见激活函数的网络，且无需超宽网络或局限于核范式。
• 理论论证和实证验证被扩展至更深网络和卷积神经网络（CNNs），表明早期训练中持续存在线性行为。
• 对于CNNs，作者推导了第一层和第二层的NTK，并使用类似的浓度技术界定了其与线性核的偏差。

实验结果

研究问题

• RQ1 两层全连接神经网络的早期学习动态能否被输入数据上的线性模型精确模拟？
• RQ2 在更深或卷积神经网络架构中，早期学习的简单性是否依然存在？
• RQ3 谱范数在表征NTK与线性模型核之间相似性方面起什么作用？
• RQ4 网络宽度如何影响早期训练中线性近似的有效性？
• RQ5 即使网络最终脱离核范式，线性近似是否仍成立？

主要发现

• 两层ReLU网络的NTK与线性模型核之间差异的谱范数被界为 $ O(n / d^{1+α}) $，意味着早期训练动态可被线性模型良好近似。
• 对于卷积网络，第一层和第二层的NTK在谱范数下与线性核的偏差被证明为 $ O(n / d^{1+α}) $，证实了相同的近似关系成立。
• 该线性近似在较弱的宽度要求下成立，且不要求网络在整个训练过程中保持在核范式内。
• 实证结果证实，线性学习行为在真实世界数据集上的更深和卷积架构中持续存在。
• 该分析表明，神经网络直到训练后期才充分使用其非线性容量，支持了早期线性学习的假设。
• 该结果适用于任何常见激活函数（包括ReLU），且对具有良性浓度特性的输入分布具有鲁棒性。