[论文解读] Theory of Deep Learning III: explaining the non-overfitting puzzle

Tomaso Poggio, Kenji Kawaguchi+6 more|arXiv (Cornell University)|Dec 30, 2017

Stochastic Gradient Optimization Techniques参考文献 22被引用 47

一句话总结

本文通过证明在过参数化深度神经网络中，梯度下降在稳定最小值附近的行为在拓扑上类似于具有退化或近乎退化的海森矩阵的线性系统，从而解决了深度学习泛化之谜。该研究证明梯度下降通过收敛到最小范数解而隐式正则化，即使在模型容量极大时也能防止过拟合——这为深度网络在无显式正则化的情况下仍能良好泛化提供了理论解释。

ABSTRACT

A main puzzle of deep networks revolves around the absence of overfitting despite large overparametrization and despite the large capacity demonstrated by zero training error on randomly labeled data. In this note, we show that the dynamics associated to gradient descent minimization of nonlinear networks is topologically equivalent, near the asymptotically stable minima of the empirical error, to linear gradient system in a quadratic potential with a degenerate (for square loss) or almost degenerate (for logistic or crossentropy loss) Hessian. The proposition depends on the qualitative theory of dynamical systems and is supported by numerical results. Our main propositions extend to deep nonlinear networks two properties of gradient descent for linear networks, that have been recently established (1) to be key to their generalization properties: 1. Gradient descent enforces a form of implicit regularization controlled by the number of iterations, and asymptotically converges to the minimum norm solution for appropriate initial conditions of gradient descent. This implies that there is usually an optimum early stopping that avoids overfitting of the loss. This property, valid for the square loss and many other loss functions, is relevant especially for regression. 2. For classification, the asymptotic convergence to the minimum norm solution implies convergence to the maximum margin solution which guarantees good classification error for "low noise" datasets. This property holds for loss functions such as the logistic and cross-entropy loss independently of the initial conditions. The robustness to overparametrization has suggestive implications for the robustness of the architecture of deep convolutional networks with respect to the curse of dimensionality.

研究动机与目标

• 解决长期以来关于过参数化深度神经网络在随机标签上实现零训练误差却仍能良好泛化的谜题。
• 将线性网络已知的泛化特性（特别是隐式正则化和收敛至最小范数解）扩展至非线性深度网络。
• 证明深度网络中梯度下降的动力学在稳定最小值附近与具有退化海森矩阵的线性系统在拓扑上等价，从而解释对过参数化的鲁棒性。
• 证明该行为在回归（平方损失）和分类（逻辑回归/交叉熵损失）中均成立，具有泛化性和最大间隔化的含义。

提出的方法

• 利用动力系统定性理论的工具，分析深度非线性网络中梯度下降的动力学。
• 表明在渐近稳定最小值附近，系统的动力学行为在拓扑上等价于具有退化（平方损失）或近乎退化（逻辑回归/交叉熵损失）海森矩阵的二次势能中的线性梯度系统。
• 在适当的初始条件下，建立梯度下降收敛至最小范数解的结论，尤其适用于平方损失。
• 通过证明渐近收敛至最大间隔解，将该结果扩展至分类任务，从而确保在低噪声数据集上具有良好的测试误差。
• 使用多项式网络近似（将 ReLU 替换为单变量多项式）验证平滑且非齐次的激活函数可保持关键泛化特性。
• 通过在回归任务和 CIFAR-10 上进行数值实验（含扰动与不含扰动），验证理论预测，包括在海森矩阵退化条件下测试误差出现过拟合的现象。

实验结果

研究问题

• RQ1 为何过参数化的深度网络在对随机标签实现零训练误差的情况下仍不会过拟合？
• RQ2 深度网络中梯度下降如何在无显式权重衰减或批量归一化的情况下隐式正则化解？
• RQ3 线性网络的泛化特性在多大程度上可推广至非线性深度网络？
• RQ4 海森矩阵的退化在控制深度学习泛化中起什么作用？
• RQ5 深度网络中梯度下降是否收敛至最小范数解，且这是否意味着良好泛化？

主要发现

• 在稳定最小值附近，深度网络中的梯度下降在拓扑上等价于具有退化或近乎退化海森矩阵的线性系统，解释了为何不会出现过拟合。
• 对于平方损失的回归任务，梯度下降隐式正则化并收敛至最小范数解，意味着存在一个最优的早停点，可避免过拟合。
• 对于逻辑回归或交叉熵损失的分类任务，梯度下降渐近收敛至最大间隔解，这在低噪声数据集上可保证良好泛化。
• 数值实验证实，当海森矩阵退化时（如欠定多项式回归），测试误差会出现过拟合，但分类性能仍保持鲁棒。
• 即使在无数据增强或权重衰减的情况下，使用梯度下降训练的深度网络仍能良好泛化，这是由于隐式正则化，而非显式的归纳偏置。
• 该结果在 ReLU 和平滑激活函数下均成立，表明关键机制是优化动力学本身，而非特定非线性形式。