[论文解读] On Generalization and Regularization in Deep Learning

Pirmin Lemberger|arXiv (Cornell University)|Apr 5, 2017

Neural Networks and Applications参考文献 1被引用 7

一句话总结

本文研究了为何大规模深度神经网络尽管参数远多于训练样本，仍能良好泛化，这挑战了经典正则化理论。研究发现，即使使用随机标签，这些模型也能实现接近零的训练误差，表明其Rademacher复杂度接近1，暗示基于传统复杂度的泛化界在深度学习中失效。

ABSTRACT

Why do large neural network generalize so well on complex tasks such as image classification or speech recognition? What exactly is the role regularization for them? These are arguably among the most important open questions in machine learning today. In a recent and thought provoking paper [C. Zhang et al.] several authors performed a number of numerical experiments that hint at the need for novel theoretical concepts to account for this phenomenon. The paper stirred quit a lot of excitement among the machine learning community but at the same time it created some confusion as discussions on OpenReview.net testifies. The aim of this pedagogical paper is to make this debate accessible to a wider audience of data scientists without advanced theoretical knowledge in statistical learning. The focus here is on explicit mathematical definitions and on a discussion of relevant concepts, not on proofs for which we provide references.

研究动机与目标

• 解释为何大规模深度神经网络在参数远多于训练样本的情况下，仍能在真实数据上良好泛化。
• 挑战将正则化解释为通过降低模型复杂度以防止过拟合的经典观点。
• 研究基于Rademacher复杂度等标准泛化界在深度学习背景下的局限性。
• 揭示理论预期与深度学习实际性能之间的脱节，特别是在训练随机标签时的表现。
• 呼吁建立新的理论框架，以考虑深度网络中隐式的归纳偏置和优化动力学。

提出的方法

• 通过在真实数据和随机数据上进行实证实验，分析深度神经网络的泛化行为，包括在纯噪声图像上使用随机标签进行训练。
• 采用Rademacher复杂度作为模型容量的度量，表明即使在 $ n \ll k $ 的大规模网络中，其值仍接近1，表明模型具有高度表达能力。
• 将显式正则化技术（如 $ L^2 $、dropout、早停、数据增强）与由优化动力学带来的隐式正则化进行比较。
• 利用泛化界 $ \mathbb{E}[\text{err}_P] \leq \widehat{\text{err}}_S + 2\widehat{\mathsf{Rad}}_n(\mathcal{F}) + \text{复杂度项} $，凸显经典泛化界在深度学习中的失效。
• 证明模型在随机标签上可实现接近零的训练误差（例如，<0.18%），表明其具备记忆任意数据的能力。
• 认为深度学习的成功无法通过经典复杂度控制来解释，因此需要新的理论概念。

实验结果

研究问题

• RQ1 为何大规模深度神经网络在参数远多于训练样本的情况下，仍能在真实世界数据上良好泛化？
• RQ2 显式正则化在多大程度上能降低深度学习模型的Rademacher复杂度？
• RQ3 深度网络如何在随机标签上实现接近零的训练误差，这对其模型容量意味着什么？
• RQ4 为何基于Rademacher复杂度的经典泛化界无法解释深度网络的泛化性能？
• RQ5 优化动力学（如SGD）在隐式正则化深度模型方面的作用是什么，其作用是否超越了显式约束？

主要发现

• 大规模深度神经网络（如AlexNet）在训练随机标签时仍能实现接近零的训练误差（<0.18%），表明其具备极强的记忆能力。
• 这些模型的Rademacher复杂度 $ \widehat{\mathsf{Rad}}_n(\mathcal{F}) $ 接近1，表明其表达能力极强，且未受经典复杂度度量的约束。
• 尽管模型复杂度很高，深度网络在实践中仍能良好泛化，这与经典泛化理论相矛盾，后者认为低复杂度才意味着良好泛化。
• 显式正则化技术（如 $ L^2 $、dropout、早停、数据增强）不足以解释深度网络的泛化行为。
• 随机梯度下降的动力学及隐式优化效应可能在泛化中起关键作用，但目前仍理解不足。
• 基于Rademacher复杂度的标准泛化界过于松散，无法捕捉深度学习模型的真实行为，表明需要更精细的理论框架。