[论文解读] The Nonlinearity Coefficient - Predicting Overfitting in Deep Neural Networks.

George Philipp, Jaime Carbonell|arXiv (Cornell University)|Jun 1, 2018

Neural Networks and Applications被引用 8

一句话总结

本文提出了非线性系数（NLC），一种基于梯度的度量，用于量化深度神经网络的功能复杂度。实验表明，NLC是测试误差和过拟合的稳健预测器，在各层之间保持稳定，并且对缩放、偏置和宽度变化具有不变性，使其成为首个可靠的网络容量最优性指标。

ABSTRACT

For a long time, designing neural architectures that exhibit high performance was considered a dark art that required expert hand-tuning. One of the few well-known guidelines for architecture design is the avoidance of exploding gradients, though even this guideline has remained relatively vague and circumstantial. We introduce the nonlinearity coefficient (NLC), a measurement of the complexity of the function computed by a neural network that is based on the magnitude of the gradient. Via an extensive empirical study, we show that the NLC is a powerful predictor of test error and that attaining a right-sized NLC is essential for optimal performance. The NLC exhibits a range of intriguing and important properties. It is closely tied to the amount of information gained from computing a single network gradient. It is tied to the error incurred when replacing the nonlinearity operations in the network with linear operations. It is not susceptible to the confounders of multiplicative scaling, additive bias and layer width. It is stable from layer to layer. Hence, we argue that the NLC is the first robust predictor of overfitting in deep networks.

研究动机与目标

• 识别一种可靠且可度量的过拟合指标，用于深度神经网络，超越启发式设计实践。
• 解决在避免梯度爆炸之外缺乏架构设计的原理性指导的问题。
• 开发一种度量，用于量化深度网络中非线性变换的复杂度。
• 创建一种与宽度、缩放和偏置等常见架构混淆因素无关的一般化性能预测器。

提出的方法

• 非线性系数（NLC）计算为网络输出相对于其参数的梯度幅值。
• NLC衡量网络输出对参数变化的敏感度，反映非线性引入的功能复杂度。
• 该方法评估每次梯度计算所获得的信息量，将NLC与信息论概念联系起来。
• 通过比较含非线性和不含非线性的网络中的NLC，量化线性近似引入的误差。
• 在多种架构和训练设置下评估该度量，以评估其稳定性和预测能力。
• 通过在图像分类基准上的大量实验对方法进行实证验证，显示出与测试误差的一致相关性。

实验结果

研究问题

• RQ1 是否存在一个单一、稳定的度量，能够独立于架构超参数，预测深度神经网络中的过拟合？
• RQ2 梯度幅值与深度网络的信息含量和功能复杂度之间有何关系？
• RQ3 用线性操作替代非线性操作在多大程度上会降低性能，且能否对此进行量化？
• RQ4 NLC是否对乘法缩放、加法偏置和层宽度具有不变性，从而使其成为可靠的诊断工具？
• RQ5 合适的NLC值是否与最优的一般化性能相关？

主要发现

• NLC在多种深度学习架构和数据集上均为测试误差的强预测器。
• 具有最优中间NLC值的网络达到最低的测试误差，表明其在欠拟合与过拟合之间达到平衡。
• NLC在各层之间保持稳定，表明其在整个网络中一致地度量功能复杂度。
• NLC对乘法缩放、加法偏置和层宽度具有不变性，使其对常见架构变化具有鲁棒性。
• 用线性操作替代非线性操作会导致测试误差的可测量增加，且与NLC值直接相关。
• NLC量化了每次梯度计算的信息增益，将梯度动态与一般化能力联系起来。