[论文解读] Understanding Why Neural Networks Generalize Well Through GSNR of Parameters

Jinlong Liu, Guoqing Jiang+3 more|arXiv (Cornell University)|Jan 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 15被引用 21

一句话总结

本文引入了模型参数的梯度信噪比（GSNR）作为解释深度神经网络泛化能力的关键因素。它表明梯度下降的优化动态自然产生高GSNR，这与更好的泛化性能密切相关，通过促进一致且与模式对齐的参数更新实现。实证与理论证据表明，更高的GSNR可减小泛化差距。

ABSTRACT

As deep neural networks (DNNs) achieve tremendous success across many application domains, researchers tried to explore in many aspects on why they generalize well. In this paper, we provide a novel perspective on these issues using the gradient signal to noise ratio (GSNR) of parameters during training process of DNNs. The GSNR of a parameter is defined as the ratio between its gradient's squared mean and variance, over the data distribution. Based on several approximations, we establish a quantitative relationship between model parameters' GSNR and the generalization gap. This relationship indicates that larger GSNR during training process leads to better generalization performance. Moreover, we show that, different from that of shallow models (e.g. logistic regression, support vector machines), the gradient descent optimization dynamics of DNNs naturally produces large GSNR during training, which is probably the key to DNNs' remarkable generalization ability.

研究动机与目标

• 理解尽管参数量庞大且过度参数化，深度神经网络（DNNs）为何仍能实现良好泛化。
• 研究模型参数的梯度信噪比（GSNR）在泛化性能中的作用。
• 在训练过程中建立GSNR与泛化差距之间的定量关联。
• 分析梯度下降优化动态如何内在地促进DNN中大GSNR的形成。

提出的方法

• 将每个参数 θj 的GSNR定义为梯度均值平方与方差之比，即 r(θj) = g̃²(θj) / ρ²(θj)，其中均值与方差基于数据分布计算。
• 引入一步泛化比（OSGR）以在训练过程中衡量泛化性能，并通过理论边界将其与GSNR关联。
• 利用简化模型分析DNN的训练动态，表明梯度下降通过正反馈回路提升GSNR。
• 推导由参数更新引起的梯度均值变化 ΔgD,s,c，表明当 W 与 gD 符号相反时，|gD| 增大，从而提升GSNR的分子。
• 基于MNIST的实证分析表明，绝对值最大的前10%权重中，约80%的W与gD呈相反符号，支持正反馈机制的存在。
• 通过相关性分析表明，在GSNR达到峰值时，高GSNR特征与目标输出呈现强正相关，表明泛化性能得到改善。

实验结果

研究问题

• RQ1 模型参数的梯度信噪比（GSNR）与深度神经网络中的泛化差距有何关系？
• RQ2 为何深度神经网络尽管参数远多于训练样本，仍能实现良好泛化？
• RQ3 梯度下降在训练过程中对模型参数GSNR的形成起到何种作用？
• RQ4 能否证明DNN的训练动态自然产生并利用高GSNR？
• RQ5 梯度下降中是否存在一种反馈机制，随时间推移放大GSNR，从而带来更好的泛化？

主要发现

• 训练过程中GSNR越大，与更好的泛化性能强相关，这由OSGR与GSNR之间的理论边界所证实。
• DNN的梯度下降优化过程由于权重与梯度符号之间的正反馈机制，自然引导参数进入高GSNR状态。
• 在MNIST上的实证结果表明，对于按绝对值排序的前10%权重，约80%的权重W与梯度均值gD符号相反，表明该状态稳定且有利于高GSNR。
• 特征重要性与目标输出之间的相关性从初始阶段到GSNR峰值阶段显著提升，例如特征17的相关性从-0.33上升至0.53，表明泛化性能改善。
• 当W与gD符号相反时，梯度均值变化ΔgD,s,c与W呈负相关，导致|gD|增大，从而通过持续的正反馈机制提升GSNR。
• 理论分析确认，在梯度更新方程的一阶项中，当权重与梯度呈负相关时，GSNR会增加，从而解释了DNN中高GSNR的出现机制。