[论文解读] The Full Spectrum of Deepnet Hessians at Scale: Dynamics with SGD Training and Sample Size

Vardan Papyan|arXiv (Cornell University)|Nov 16, 2018

Model Reduction and Neural Networks参考文献 37被引用 32

一句话总结

本文提出了一种可扩展的计算框架，用于分析大规模深度神经网络（参数量达数百万计）在真实数据集上训练的完整Hessian谱。借助先进的数值线性代数方法，该框架将Hessian分解为多个分量（H、G及分层子分量A₁、B₁、B₂），揭示了训练动态与样本规模系统性地塑造谱结构——特别是'尖峰'特征的特征值与连续分布的出现——为深度学习中的泛化与优化提供了新见解。

ABSTRACT

We apply state-of-the-art tools in modern high-dimensional numerical linear algebra to approximate efficiently the spectrum of the Hessian of modern deepnets, with tens of millions of parameters, trained on real data. Our results corroborate previous findings, based on small-scale networks, that the Hessian exhibits "spiked" behavior, with several outliers isolated from a continuous bulk. We decompose the Hessian into different components and study the dynamics with training and sample size of each term individually.

研究动机与目标

• 在大规模场景下分析现代深度神经网络的完整Hessian谱，超越小规模近似方法。
• 将Hessian分解为可解释的分量（H、G及分层子分量），以研究其各自的动力学行为。
• 探究训练动态（SGD）与样本规模如何影响Hessian的谱特性。
• 提供一种可扩展且数值鲁棒的框架，用于高维深度学习模型中Hessian谱的近似。
• 将谱结构（特别是异常值与连续分布）与深度网络中的泛化与优化行为相关联。

提出的方法

• 采用最先进的数值线性代数工具，包括Lanczos算法与子空间迭代，以高效近似Hessian谱。
• 应用高斯-牛顿分解，将Hessian划分为两个主要分量：H（二阶权重贡献）与G（基于梯度的曲率）。
• 进一步将G分解为分层的三级结构：A₁（类别均值梯度）、A₂（类别特定梯度）、B₁（类内方差）与B₂（类间方差）。
• 采用归一化处理（如缩放至[-1,1]范围）以稳定谱估计并改善迭代求解器的收敛性。
• 使用LanczosApproxSpec与SubspaceIteration算法，以受控的精度与收敛性计算谱与降维谱。
• 将该框架应用于VGG11与ResNet18在MNIST、FashionMNIST、CIFAR10与CIFAR100上的实验，采用固定超参数且无数据增强，以确保结果的确定性。

实验结果

研究问题

• RQ1 在大规模深度神经网络中，Hessian的谱分量（H、G及其子分量）在SGD训练过程中如何演化？
• RQ2 每个分层分量（A₁、B₁、B₂等）对整体Hessian谱的贡献如何，特别是对'尖峰'特征值与连续谱块的贡献？
• RQ3 训练数据集的规模如何影响Hessian的谱结构及其各分量的谱特性？
• RQ4 能否使用现代数值线性代数方法可靠地在大规模场景（数百万参数）下近似Hessian的谱动态？
• RQ5 谱特征（如G谱中的峰值）在多大程度上与训练动态（如损失与误差轨迹）相关？

主要发现

• Hessian谱在大规模网络中表现出'尖峰'特征，存在若干与连续谱块明显分离的孤立特征值（异常值），与早期小规模研究结果一致。
• G分量中的异常值特征值主要归因于A₁（类别均值梯度），而G的右谱块与B₂（类间方差）相关，左谱块则与B₁（类内方差）相关。
• G谱中的峰值出现在训练过程中损失快速下降后趋于平缓的过渡点，表明这是优化动力学中的关键阶段。
• 样本规模对谱结构具有系统性影响：更大的训练集导致谱更稳定、更少偏斜，异常值幅度减小，谱块分布更宽。
• 分层分解表明，B₂（类间方差）对G谱的谱块贡献最大，而A₁主导异常值特征值，暗示其在曲率与泛化中具有不同作用。
• 采用Lanczos与子空间迭代结合归一化的谱近似框架，在参数量达数百万的模型上仍能实现稳定且精确的谱估计。