[论文解读] The Nonlinearity Coefficient - Predicting Generalization in Deep Neural Networks

George Philipp, Jaime Carbonell|arXiv (Cornell University)|Jun 1, 2018

Neural Networks and Applications参考文献 35被引用 7

一句话总结

本文提出了非线性系数（NLC），这是一种基于梯度的度量，从网络的随机初始化权重中计算得出，能够预测全连接前馈网络中的泛化性能。NLC通过将输入和输出协方差矩阵与输入-输出雅可比矩阵结合，量化非线性程度，并通过实证表明，实现适当大小的NLC与低测试误差强相关，从而可在训练前早期排除性能较差的网络架构。

ABSTRACT

For a long time, designing neural architectures that exhibit high performance was considered a dark art that required expert hand-tuning. One of the few well-known guidelines for architecture design is the avoidance of exploding gradients, though even this guideline has remained relatively vague and circumstantial. We introduce the nonlinearity coefficient (NLC), a measurement of the complexity of the function computed by a neural network that is based on the magnitude of the gradient. Via an extensive empirical study, we show that the NLC is a powerful predictor of test error and that attaining a right-sized NLC is essential for optimal performance. The NLC exhibits a range of intriguing and important properties. It is closely tied to the amount of information gained from computing a single network gradient. It is tied to the error incurred when replacing the nonlinearity operations in the network with linear operations. It is not susceptible to the confounders of multiplicative scaling, additive bias and layer width. It is stable from layer to layer. Hence, we argue that the NLC is the first robust predictor of overfitting in deep networks.

研究动机与目标

• 为解决深度神经网络中缺乏可靠的、训练前的泛化性能预测指标的问题。
• 开发一种对常见网络结构混淆因素（如输入尺度、偏置和维度）具有不变性的基于梯度的度量。
• 识别一个能捕捉非线性程度并能与全连接网络测试误差强相关的标量度量。
• 通过在训练前预测较差的训练结果，实现在训练前早期检测出性能不佳的网络架构。

提出的方法

• 非线性系数（NLC）定义为输出协方差矩阵与输入-输出雅可比矩阵协方差的乘积的迹，再除以输入协方差的迹。
• 采用两阶段随机估计器计算NLC：首先在小批量数据上计算输出均值和输出协方差，然后通过反向传播随机高斯向量来估计雅可比矩阵的迹。
• 使用批量归一化来稳定输出偏置，并在计算过程中确保数值稳定性，尤其是在低精度设置下。
• NLC源自由线性函数近似的输入区域的相对直径，从而与网络的内在非线性性建立联系。
• NLC在随机初始化状态下计算，因此可在任何训练或超参数调优之前应用。
• 该方法对输入尺度、输入偏置和输入维度的变化具有鲁棒性，而许多现有的基于梯度的度量则不具备这一特性。

实验结果

研究问题

• RQ1 能否在神经网络初始化时计算一个基于梯度的度量，以预测深度神经网络的泛化性能？
• RQ2 是否存在一个标量度量，能够捕捉非线性程度并能与测试误差强相关？
• RQ3 所提出的度量对输入尺度、输入偏置和输入维度等混淆因素的鲁棒性如何？
• RQ4 在全连接前馈网络中，实现‘适当大小’的NLC是否能带来最优的测试误差？

主要发现

• 在广泛范围的全连接前馈网络中，NLC在随机初始化时即为最终测试误差的强预测指标。
• NLC值不理想的网络始终表现出更高的测试误差，表明NLC是泛化能力较差的可靠指标。
• NLC对输入尺度、输入偏置和输入维度的变化具有鲁棒性，因此比许多现有基于梯度的度量更可靠。
• NLC概念简洁，计算成本低廉，可用于在训练前排除性能不佳的网络架构，从而显著节省计算资源。
• NLC与能被线性函数良好近似的输入区域的相对直径相关，从而与网络的内在非线性性建立联系。
• 在采用适当的批量归一化和两阶段估计方法时，NLC即使在低精度浮点数运算中也能保持稳定和准确。