[论文解读] Optimizing Neural Networks with Kronecker-factored Approximate Curvature

James Martens, Roger Grosse|arXiv (Cornell University)|Mar 19, 2015

Neural Networks and Applications参考文献 47被引用 290

一句话总结

本文提出了Kronecker分解近似曲率（K-FAC）方法，一种用于训练神经网络的高效近似自然梯度优化方法。通过将费舍尔信息矩阵近似为较小矩阵的Kronecker积，K-FAC实现了快速求逆，并支持大规模、曲率感知的参数更新，在实际应用中性能优于带有动量的SGD，使深度自编码器基准测试的训练迭代次数减少了一个数量级以上。

ABSTRACT

We propose an efficient method for approximating natural gradient descent in neural networks which we call Kronecker-Factored Approximate Curvature (K-FAC). K-FAC is based on an efficiently invertible approximation of a neural network's Fisher information matrix which is neither diagonal nor low-rank, and in some cases is completely non-sparse. It is derived by approximating various large blocks of the Fisher (corresponding to entire layers) as being the Kronecker product of two much smaller matrices. While only several times more expensive to compute than the plain stochastic gradient, the updates produced by K-FAC make much more progress optimizing the objective, which results in an algorithm that can be much faster than stochastic gradient descent with momentum in practice. And unlike some previously proposed approximate natural-gradient/Newton methods which use high-quality non-diagonal curvature matrices (such as Hessian-free optimization), K-FAC works very well in highly stochastic optimization regimes. This is because the cost of storing and inverting K-FAC's approximation to the curvature matrix does not depend on the amount of data used to estimate it, which is a feature typically associated only with diagonal or low-rank approximations to the curvature matrix.

研究动机与目标

• 开发一种适用于深度神经网络的可扩展、曲率感知优化方法，避免精确自然梯度或Hessian-free方法带来的计算负担。
• 通过直接高效地求逆高质量的非对角曲率近似，解决共轭梯度等一阶方法在Hessian-free优化中的低效问题。
• 设计一种既非对角也非低秩，但可在多项式时间内求逆的曲率近似，适用于在线、随机优化。
• 在深度学习基准测试中实现比带有动量的SGD更快的收敛速度，且无需大量超参数调优。
• 通过大幅减少所需优化步数，实现高效的分布式训练。

提出的方法

• 将神经网络的费舍尔信息矩阵按层划分成块，并将每一块建模为两个较小矩阵的Kronecker积，利用关于层梯度的统计假设。
• 对近似费舍尔矩阵的逆采用分块对角或分块三对角结构，以实现高效求逆，通过在小矩阵上进行矩阵分解（如SVD）计算逆矩阵。
• 使用小批量数据在线维护曲率近似，实现增量式更新，无需从头重新计算。
• 将曲率近似集成到基于二次模型的优化框架中，通过阻尼/正则化稳定更新并提升收敛性。
• 采用类似动量的更新规则，结合曲率校正步长与逐步增大的小批量大小调度，以应对梯度的随机性。
• 利用矩阵-矩阵乘法和低秩分解技术，确保即使在大型网络中也能保持计算效率。

实验结果

研究问题

• RQ1 能否高效地求逆一种非对角、非低秩的费舍尔信息矩阵近似，以实现在深层网络中实用的自然梯度优化？
• RQ2 基于Kronecker积的层间费舍尔块近似是否能保留足够的曲率信息，从而优于标准的带有动量的SGD？
• RQ3 该曲率近似能否在线更新，并在高度随机的设置（如小批量训练）中保持有效性？
• RQ4 在深度自编码器基准测试中，K-FAC与经过良好调优的带有动量的SGD相比，收敛速度和样本效率如何？
• RQ5 K-FAC在多大程度上减少了收敛所需的迭代次数，是否能实现更高效的分布式训练？

主要发现

• 在深度自编码器基准测试中，K-FAC的收敛速度显著快于带有动量的SGD，所需迭代次数减少了一个数量级以上。
• K-FAC的分块对角版本每轮迭代的进展率比分块三对角版本高出25%至40%，尽管后者的每轮计算成本更高。
• 分块对角K-FAC版本的每秒进展率与分块三对角版本相当，表明其在实际应用中是更优的权衡选择。
• 即使在大批次和高随机性条件下，K-FAC的曲率近似依然有效，而依赖固定曲率估计的方法则表现下降。
• 该方法对超参数调优具有鲁棒性，仅需调整少数关键参数（如逐步增大小批量大小）即可获得最佳性能。
• 由于迭代次数极低，K-FAC特别适合大规模分布式训练，尤其在同步成为瓶颈时更具优势。