[论文解读] Negative eigenvalues of the Hessian in deep neural networks

Guillaume Alain, Nicolas Le Roux+1 more|arXiv (Cornell University)|Feb 6, 2019

Stochastic Gradient Optimization Techniques参考文献 14被引用 23

一句话总结

本文研究了深度神经网络海森矩阵中负特征值的作用，表明这些特征值蕴含着显著的损失降低潜力，但当前优化器对此利用不足。通过对在MNIST上训练的LeNet进行海森矩阵特征分解，作者发现负曲率方向在整个训练过程中均能提供稳定且显著的改进，而正曲率方向的收益则随时间递减。

ABSTRACT

The loss function of deep networks is known to be non-convex but the precise nature of this nonconvexity is still an active area of research. In this work, we study the loss landscape of deep networks through the eigendecompositions of their Hessian matrix. In particular, we examine how important the negative eigenvalues are and the benefits one can observe in handling them appropriately.

研究动机与目标

• 理解深度神经网络损失景观中负曲率方向的作用。
• 评估当前优化方法在多大程度上利用了损失景观中的负曲率方向。
• 研究在负曲率区域，损失函数的二阶近似精度如何。
• 探索负曲率方向下曲率大小与最优步长之间的关系。
• 评估负曲率方向在提升训练效率和收敛性方面的稳定性和潜力。

提出的方法

• 使用雅可比-向量乘积技术计算海森矩阵的特征值和特征向量，以避免存储完整的海森矩阵。
• 在训练过程中追踪海森矩阵的顶部和底部特征向量（LA(k) 和 SA(k)），以监测曲率演化。
• 在MNIST上使用固定超参数的RMSProp生成用于海森分析的训练轨迹。
• 通过解析推导的最优步长，评估沿每个特征向量方向可能实现的最大损失改善。
• 比较损失函数在正曲率与负曲率方向上的二阶近似性能。
• 采用稀疏对称特征值求解器（如SciPy的eigsh）结合基于函数的海森-向量乘积，以实现对大规模模型的可扩展性。

实验结果

研究问题

• RQ1 在深度网络的训练过程中，海森矩阵的特征值（尤其是负特征值）如何演化？
• RQ2 当前的一阶优化器在多大程度上利用了损失景观中的负曲率方向？
• RQ3 与正曲率方向相比，损失函数在负曲率方向上的二阶近似精度如何？
• RQ4 在负曲率方向上，曲率大小与最优步长之间存在何种关系？
• RQ5 负曲率方向中蕴含的潜在损失减少量有多大，且该潜力是否会随时间减弱？

主要发现

• 在MNIST上的训练过程中，最大的负特征值保持稳定，表明特定方向上存在持续的负曲率。
• 负曲率方向始终提供比正曲率方向更高的潜在损失减少量，且该收益随时间保持稳定。
• 负曲率方向的最优步长不遵循正曲率方向中观察到的 $\alpha^* = 1/|\rho|$ 规则。
• 损失函数的二阶近似在负曲率方向上显著失效，表明局部近似质量较差。
• 尽管负特征值数量较少，但负曲率方向带来的总潜在损失减少量仍超过正曲率方向。
• 当前优化器未能有效利用负曲率方向，表明这是改进优化算法的关键机遇。