[论文解读] Theory III: Dynamics and Generalization in Deep Networks

Andrzej Banburski, Qianli Liao+5 more|arXiv (Cornell University)|Mar 12, 2019

Stochastic Gradient Optimization Techniques参考文献 47被引用 6

一句话总结

该论文表明，在深层网络中使用指数型损失函数的梯度下降法通过一种隐式的范数正则化机制，隐式控制模型复杂度，促使网络收敛到最小范数（最大间隔）解。尽管没有显式正则化，其训练动态仍表现出对可泛化解的隐式偏好，从而解释了过参数化网络中非过拟合现象的谜题。

ABSTRACT

The key to generalization is controlling the complexity of the network. However, there is no obvious control of complexity -- such as an explicit regularization term -- in the training of deep networks for classification. We will show that a classical form of norm control -- but kind of hidden -- is present in deep networks trained with gradient descent techniques on exponential-type losses. In particular, gradient descent induces a dynamics of the normalized weights which converge for $t o \infty$ to an equilibrium which corresponds to a minimum norm (or maximum margin) solution. For sufficiently large but finite $ρ$ -- and thus finite $t$ -- the dynamics converges to one of several margin maximizers, with the margin monotonically increasing towards a limit stationary point of the flow. In the usual case of stochastic gradient descent, most of the stationary points are likely to be convex minima corresponding to a constrained minimizer -- the network with normalized weights-- which corresponds to vanishing regularization. The solution has zero generalization gap, for fixed architecture, asymptotically for $N o \infty$, where $N$ is the number of training examples. Our approach extends some of the original results of Srebro from linear networks to deep networks and provides a new perspective on the implicit bias of gradient descent. We believe that the elusive complexity control we describe is responsible for the puzzling empirical finding of good predictive performance by deep networks, despite overparametrization.

研究动机与目标

• 为解决过参数化深层网络中的非过拟合谜题，即在缺乏显式正则化的情况下仍能实现泛化。
• 识别梯度下降训练深层网络时复杂度控制的隐藏机制。
• 通过齐次性与归一化权重动态，将Srebro关于线性网络的结果推广至深层非线性网络。
• 证明权重归一化、批量归一化以及拉格朗日方法均收敛至相似的最小范数解。
• 在深层网络中建立训练动态与泛化性能之间的理论联系。

提出的方法

• 分析在指数型损失函数下，深层ReLU网络中归一化权重 $ V_k $ 的动力学行为。
• 利用网络齐次性，将网络输出分解为 $ f(W;x) = \rho f(V;x) $，其中 $ \rho $ 为各层权重范数的乘积。
• 推导归一化权重 $ \dot{V} $ 的动力系统，证明在单位范数约束下收敛至驻点。
• 应用拉格朗日公式强制 $ \|V_k\|_2 = 1 $，证明驻点对应于最小范数解。
• 将未归一化权重的梯度下降与事后归一化方法进行比较，表明二者在渐近行为上等价。
• 通过在CIFAR-10和IRIS数据集上的线性网络与卷积网络进行实验，验证收敛速率与间隔动力学。

实验结果

研究问题

• RQ1 深层网络中梯度下降如何在无显式正则化的情况下实现泛化？
• RQ2 在过参数化深层网络中，梯度下降的隐式归纳偏差是什么？
• RQ3 权重归一化与批量归一化在训练动态中与隐式正则化有何关系？
• RQ4 权重范数乘积 $ \rho $ 在控制收敛与泛化中起什么作用？
• RQ5 归一化权重动态的驻点是否对应于最大间隔解？

主要发现

• 在深层网络中，对指数型损失函数进行梯度下降，即使无显式正则化，也会收敛至最小范数（最大间隔）解。
• 当 $ \rho $ 有限时，动态系统收敛至对应于约束最小化器的驻点，等价于趋于零的正则化强度。
• 当训练样本数 $ N \to \infty $ 时，解的泛化误差差距渐近趋于零。
• 权重归一化与批量归一化在定性上表现出与拉格朗日方法相同的动力学行为，并收敛至相同的驻点。
• 当 $ \rho $ 按 $ \frac{1}{\log t} $ 的方式缩放时，收敛速率快于无约束动态，且当 $ \rho \approx 4 $ 时，测试损失与误差之间的线性关系开始失效。
• 在CIFAR-10数据集上使用100个样本的实验表明，网络收敛至单一支持向量，并在基于梯度的扰动下保持稳定，表明最小范数解具有鲁棒性。