[论文解读] Providing theoretical learning guarantees to Deep Learning Networks

Rodrigo Fernandes de Mello, Martha Dais Ferreira+1 more|arXiv (Cornell University)|Nov 28, 2017

Adversarial Robustness in Machine Learning参考文献 15被引用 6

一句话总结

本文提出了一套理论框架，用于估计卷积神经网络（CNN）的破碎系数（Shattering coefficient），从而通过统计学习理论提供学习保证。通过建模网络偏置的复杂度，表明即使经验风险相似，更深的网络架构（如VGG16）在函数空间复杂度上也显著高于更简单的网络，这意味着模型选择应考虑理论上的偏置复杂度，而不仅限于经验性能。

ABSTRACT

Deep Learning (DL) is one of the most common subjects when Machine Learning and Data Science approaches are considered. There are clearly two movements related to DL: the first aggregates researchers in quest to outperform other algorithms from literature, trying to win contests by considering often small decreases in the empirical risk; and the second investigates overfitting evidences, questioning the learning capabilities of DL classifiers. Motivated by such opposed points of view, this paper employs the Statistical Learning Theory (SLT) to study the convergence of Deep Neural Networks, with particular interest in Convolutional Neural Networks. In order to draw theoretical conclusions, we propose an approach to estimate the Shattering coefficient of those classification algorithms, providing a lower bound for the complexity of their space of admissible functions, a.k.a. algorithm bias. Based on such estimator, we generalize the complexity of network biases, and, next, we study AlexNet and VGG16 architectures in the point of view of their Shattering coefficients, and number of training examples required to provide theoretical learning guarantees. From our theoretical formulation, we show the conditions which Deep Neural Networks learn as well as point out another issue: DL benchmarks may be strictly driven by empirical risks, disregarding the complexity of algorithms biases.

研究动机与目标

• 通过将统计学习理论应用于CNN，解决深度学习中缺乏理论学习保证的问题。
• 使用破碎系数作为可接受函数空间的度量，量化深度网络中算法偏置的复杂度。
• 分析通常假设的架构等价性（如3×3卷积核与7×7卷积核）是否真正具有等价的学习容量。
• 基于理论边界，确定确保AlexNet和VGG16等架构泛化所需的最小训练样本数量。

提出的方法

• 推导单个神经元破碎系数的估计公式，基于输入维度和参数数量。
• 通过组合单个神经元的复杂度，将破碎系数估计扩展到多层网络，建模总函数空间大小。
• 应用Vapnik统计学习理论中的泛化边界，以破碎系数作为偏置复杂度的代理变量。
• 利用Chernoff不等式推导泛化误差的理论上限，其依赖于破碎系数的对数。
• 通过计算并对比不同架构的破碎系数来比较模型，例如：3×3三卷积层CNN与7×7单卷积层CNN。
• 通过经验估计不同卷积核尺寸和神经元数量下破碎系数的多项式形式，实现对偏置复杂度的定量比较。

实验结果

研究问题

• RQ1 CNN架构的破碎系数是否能作为其学习容量和偏置复杂度的可靠理论度量？
• RQ2 两个CNN架构若具有相同的经验风险（如相同的测试准确率），是否可能因偏置复杂度的差异而导致理论学习保证存在显著不同？
• RQ3 层数和每层神经元数量如何影响破碎系数，进而影响泛化所需的训练样本数量？
• RQ4 滤波器尺寸（3×3与7×7）等架构选择在多大程度上影响函数空间的大小，即使在实践中被认为等价？
• RQ5 VGG16和AlexNet等深层网络的经验成功是否足以确保泛化，还是必须进行偏置复杂度的理论分析？

主要发现

• 3×3三卷积层CNN（每层64个神经元）的破碎系数约为(7.85n² + 147.69n - 2871.02)^192，表明其函数空间极大。
• 7×7单卷积层CNN（每层64个神经元）的破碎系数为(9.81n² + 11.32n - 171.91)^64，显著小于三卷积层3×3架构。
• 尽管经验性能相似，3×3三卷积层架构的偏置复杂度远高于7×7单卷积层架构，表明在训练数据有限时，其理论泛化能力更弱。
• 理论分析表明，参数数量和层数的增加会指数级提升破碎系数，导致在训练数据稀缺时泛化更加困难。
• 本研究证实，Simonyan和Zisserman关于3×3与7×7卷积核等价性的主张在经验上成立，但在理论上存在缺陷，因为其函数空间大小存在显著差异。
• 论文结论认为，仅依赖经验风险最小化是不够的，模型选择还必须考虑由偏置复杂度导出的理论泛化边界。