[论文解读] Never look back - A modified EnKF method and its application to the training of neural networks without back propagation

Eldad Haber, Felix Lucka+1 more|arXiv (Cornell University)|May 21, 2018

Model Reduction and Neural Networks参考文献 19被引用 15

一句话总结

本文提出了一种改进的集合卡尔曼滤波（EnKF）方法，可在无需反向传播的情况下实现深度神经网络的无梯度训练，通过前向传播评估和随机采样近似雅可比矩阵。该方法证明了强凸问题下的次线性收敛性，并在MNIST数据集上实现了比ADAM更快的收敛速度，且前向传播次数更少、内存占用更低。

ABSTRACT

In this work, we present a new derivative-free optimization method and investigate its use for training neural networks. Our method is motivated by the Ensemble Kalman Filter (EnKF), which has been used successfully for solving optimization problems that involve large-scale, highly nonlinear dynamical systems. A key benefit of the EnKF method is that it requires only the evaluation of the forward propagation but not its derivatives. Hence, in the context of neural networks, it alleviates the need for back propagation and reduces the memory consumption dramatically. However, the method is not a pure "black-box" global optimization heuristic as it efficiently utilizes the structure of typical learning problems. Promising first results of the EnKF for training deep neural networks have been presented recently by Kovachki and Stuart. We propose an important modification of the EnKF that enables us to prove convergence of our method to the minimizer of a strongly convex function. Our method also bears similarity with implicit filtering and we demonstrate its potential for minimizing highly oscillatory functions using a simple example. Further, we provide numerical examples that demonstrate the potential of our method for training deep neural networks.

研究动机与目标

• 开发一种用于训练神经网络的无梯度优化方法，避免使用反向传播并降低内存消耗。
• 通过证明强凸函数下收敛至全局最小值，改进现有的基于EnKF的方法。
• 在高性能计算环境中实现高效并行化与可扩展性，以支持大规模神经网络训练。
• 在非凸深度学习问题（如MNIST分类）上展示该方法的有效性。
• 探索该方法处理振荡或高度非线性目标函数的能力，通过其固有的平滑效应。

提出的方法

• 该方法通过在扰动参数点处使用方差减少的随机雅可比矩阵近似，对EnKF进行改进，利用前向传播输出评估。
• 仅通过在当前迭代点附近随机采样的粒子的前向传播输出，估计前向算子的雅可比矩阵，避免显式计算梯度。
• 该算法采用可变投影策略，对固定的θ，通过牛顿法精确求解最后一层权重（W），从而降低维度并提高效率。
• 使用不精确牛顿法和共轭梯度法高效求解W的子问题，每步仅进行有限次迭代。
• 该方法结合线搜索和迭代更新参数θ，仅依赖前向传播，无需反向传播。
• 通过低维子空间近似提升收敛性，其方法类似于隐式滤波，但以随机化、无梯度方式实现。

实验结果

研究问题

• RQ1 改进的EnKF方法是否能在不使用梯度的情况下，收敛至强凸函数的全局最小值？
• RQ2 与随机梯度下降相比，该提出的无梯度方法在深度神经网络训练中收敛速度和内存效率方面表现如何？
• RQ3 该方法是否能有效处理深度学习中常见的非凸、高度振荡的损失曲面？
• RQ4 由于避免了反向传播，该方法是否能实现更深或更大规模网络的训练，同时显著降低内存开销？
• RQ5 该方法固有的平滑特性在损失函数存在高频振荡时，能在多大程度上改善优化性能？

主要发现

• 所提方法以次线性速率收敛至强凸函数的全局最小值，优于先前EnKF变体仅收敛至低维子空间投影解的局限。
• 在MNIST数据集上，该方法以238.5秒完成训练，显著快于ADAM的1,751秒，测试准确率达到98.38%，优于ADAM的99.12%。
• 该方法仅使用4个粒子即可优化约50,000个权重，展现出极高的样本效率和可扩展性。
• 尽管泛化能力略低于ADAM（测试准确率99.12% vs. 98.38%），但该方法以显著更少的前向传播次数实现了更低的损失值。
• 该方法对振荡目标函数表现出平滑效应，表明其在非凸、高频损失曲面中具有鲁棒性。
• 该算法高度可并行化，且避免反向传播，使得在无内存限制条件下训练极深网络成为可能。