[论文解读] Quantifying the generalization error in deep learning in terms of data distribution and neural network smoothness

Pengzhan Jin, Lu Lu+2 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 84被引用 61

一句话总结

本文提出了一种新颖的理论框架，通过将泛化误差与数据分布复杂度（通过覆盖复杂度衡量）和神经网络平滑度（通过连续性模的逆衡量）相联系，以量化深度神经网络中的泛化误差。该框架利用数据相关度量推导出期望分类误差的紧致上界，并在图像数据集上通过数值实验进行了验证，结果显示测试误差与覆盖复杂度之间存在线性相关性；同时表明，随着网络规模增大，网络平滑度下降，但对数据集大小不敏感。

ABSTRACT

The accuracy of deep learning, i.e., deep neural networks, can be characterized by dividing the total error into three main types: approximation error, optimization error, and generalization error. Whereas there are some satisfactory answers to the problems of approximation and optimization, much less is known about the theory of generalization. Most existing theoretical works for generalization fail to explain the performance of neural networks in practice. To derive a meaningful bound, we study the generalization error of neural networks for classification problems in terms of data distribution and neural network smoothness. We introduce the cover complexity (CC) to measure the difficulty of learning a data set and the inverse of the modulus of continuity to quantify neural network smoothness. A quantitative bound for expected accuracy/error is derived by considering both the CC and neural network smoothness. Although most of the analysis is general and not specific to neural networks, we validate our theoretical assumptions and results numerically for neural networks by several data sets of images. The numerical results confirm that the expected error of trained networks scaled with the square root of the number of classes has a linear relationship with respect to the CC. We also observe a clear consistency between test loss and neural network smoothness during the training process. In addition, we demonstrate empirically that the neural network smoothness decreases when the network size increases whereas the smoothness is insensitive to training dataset size.

研究动机与目标

• 解决深度学习中泛化误差缺乏实用理论理解的问题。
• 开发一个非平凡的、与数据相关的泛化误差上界，以解释真实世界中的性能表现。
• 量化数据分布复杂度与神经网络平滑度如何共同影响期望测试误差。
• 通过标准图像分类数据集对理论假设和上界进行实证验证。

提出的方法

• 引入覆盖复杂度（CC）作为分类问题中数据分布难度的度量。
• 通过权重矩阵的谱范数估计连续性模的逆，定义神经网络的平滑度。
• 利用CC和网络平滑度推导出期望分类误差的理论上界。
• 提出一种结合几何覆盖性质与函数平滑度的数据相关框架，以约束泛化误差。
• 通过在MNIST、CIFAR-10、CIFAR-100、COIL-20、COIL-100和SVHN数据集上使用CNN进行数值实验验证理论。
• 实证观察到归一化测试误差与CC之间存在线性关系，并追踪了训练过程中平滑度的演化。

实验结果

研究问题

• RQ1 如何利用数据分布和网络平滑度来界定深度神经网络中的泛化误差？
• RQ2 覆盖复杂度在决定分类问题难度方面起到什么作用？
• RQ3 通过谱范数估计的神经网络平滑度与泛化性能之间有何相关性？
• RQ4 从数据复杂度和平滑度推导出的理论边界在真实图像数据集上是否成立？
• RQ5 网络规模和数据集大小如何影响神经网络的平滑度和泛化误差？

主要发现

• 当按类别数的平方根归一化后，期望分类误差与覆盖复杂度（CC）呈线性关系。
• 在多个图像数据集上，归一化后的测试误差与CC之间观察到清晰的线性关系。
• 随着网络规模增大，神经网络平滑度降低，表明其泛化能力增强。
• 网络平滑度对训练数据集大小不敏感，表明其更与网络架构相关而非数据量。
• 泛化误差的理论紧致上界是非平凡的，并且与训练过程中观测到的测试损失在经验上一致。
• 通过谱范数估计的连续性模的逆，能有效量化神经网络平滑度，并与测试性能显著相关。