[论文解读] Theory IIIb: Generalization in Deep Networks

Tomaso Poggio, Qianli Liao+4 more|arXiv (Cornell University)|Jun 29, 2018

Neural Networks and Applications参考文献 4被引用 14

一句话总结

本文通过证明在指数型损失（如交叉熵）上进行梯度下降时，深层网络在每一层都会隐式正则化至最小范数解，即使没有显式正则化，从而解决了深度神经网络中的“无过拟合”之谜。关键结果是：在可分情况下，深层网络会收敛至类似最大间隔的解，解释了在过参数化和大容量下仍能泛化的原因。

ABSTRACT

A main puzzle of deep neural networks (DNNs) revolves around the apparent absence of "overfitting", defined in this paper as follows: the expected error does not get worse when increasing the number of neurons or of iterations of gradient descent. This is surprising because of the large capacity demonstrated by DNNs to fit randomly labeled data and the absence of explicit regularization. Recent results by Srebro et al. provide a satisfying solution of the puzzle for linear networks used in binary classification. They prove that minimization of loss functions such as the logistic, the cross-entropy and the exp-loss yields asymptotic, "slow" convergence to the maximum margin solution for linearly separable datasets, independently of the initial conditions. Here we prove a similar result for nonlinear multilayer DNNs near zero minima of the empirical loss. The result holds for exponential-type losses but not for the square loss. In particular, we prove that the weight matrix at each layer of a deep network converges to a minimum norm solution up to a scale factor (in the separable case). Our analysis of the dynamical system corresponding to gradient descent of a multilayer network suggests a simple criterion for ranking the generalization performance of different zero minimizers of the empirical loss.

研究动机与目标

• 解决长期以来关于为何过参数化的深度神经网络在容量高且缺乏显式正则化的情况下仍能良好泛化的问题。
• 将隐式正则化的理论理解从线性网络扩展到非线性深层网络。
• 表征使用指数型损失训练的深层网络中梯度下降的收敛行为。
• 为不同零最小化器的泛化性能提供一个理论排序标准。

提出的方法

• 分析具有ReLU激活函数和指数型损失（如交叉熵）的深层网络的连续时间梯度流动力学。
• 利用ReLU的正齐次性，将权重矩阵分解为范数和方向分量，表明在尺度上收敛至最小范数解。
• 应用动力系统理论，证明在可分情况下，梯度下降会收敛至每层具有最小Frobenius范数的解。
• 推导交叉熵损失的梯度动力学，并表明在归一化条件下其与指数型损失的动力学等价，从而可将线性网络的结果推广至非线性设置。
• 考虑权重归一化和离散化的影响，表明时间依赖的学习率在离散梯度下降中对收敛至关重要。
• 表明误分类误差会导致双曲型平衡点，意味着仅在误分类样本的张成空间中受影响的权重分量才会产生稳定但非正则化的解。

实验结果

研究问题

• RQ1 为何过参数化的深层网络在拟合随机标签时仍不过拟合？
• RQ2 在深层网络中，对指数型损失进行梯度下降是否会隐式正则化至最小范数解？
• RQ3 能否基于理论标准对经验风险的不同零最小化器的泛化性能进行排序？
• RQ4 在深层网络中，对指数型损失进行梯度下降的动力学与在线性网络中的动力学有何比较？
• RQ5 权重归一化或学习率调度在深层网络的收敛性和泛化中起到什么作用？

主要发现

• 在可分情况下，对具有指数型损失的深层网络进行梯度下降，会在每层收敛至最小范数解（至多一个尺度因子）。
• 该收敛与初始条件无关，对应于类似最大间隔的解，提供了隐式正则化。
• 由于这种隐式正则化，即使参数数量超过训练集大小，泛化误差仍保持稳定。
• 在归一化条件下，交叉熵损失的动力学与指数型损失的动力学等价，使得线性网络的结果可推广至非线性深层网络。
• 误分类误差并非均匀地影响所有权重分量；仅影响误分类样本张成空间中的分量，导致稳定但非正则化的平衡点。
• 离散化效应和时间依赖的学习率对收敛至关重要，因为它们能抑制噪声并确保渐近收敛至最小值。