[论文解读] Training Neural Networks Without Gradients: A Scalable ADMM Approach

Gavin Taylor, Ryan Burmeister+4 more|arXiv (Cornell University)|May 6, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用 146

一句话总结

引入基于 ADMM/Bregman 的方法在不使用梯度下降的情况下训练神经网络，实现跨数千个核心的线性扩展，并在大规模数据集上表现稳健。

ABSTRACT

With the growing importance of large network models and enormous training datasets, GPUs have become increasingly necessary to train neural networks. This is largely because conventional optimization algorithms rely on stochastic gradient methods that don't scale well to large numbers of cores in a cluster setting. Furthermore, the convergence of all gradient methods, including batch methods, suffers from common problems like saturation effects, poor conditioning, and saddle points. This paper explores an unconventional training method that uses alternating direction methods and Bregman iteration to train networks without gradient descent steps. The proposed method reduces the network training problem to a sequence of minimization sub-steps that can each be solved globally in closed form. The proposed method is advantageous because it avoids many of the caveats that make gradient methods slow on highly non-convex problems. The method exhibits strong scaling in the distributed setting, yielding linear speedups even when split over thousands of cores.

研究动机与目标

• 激发并解决基于梯度的训练在大规模神经网络中的局限性。
• 提出一种交替最小化框架，将训练分解为可求解的子步骤，具有闭式解。
• 在分布式环境中展示可扩展性，并在大数据集上将性能与标准的梯度基方法进行比较。
• 提供关于实现、初始化和参数选择的实际指导。
• 讨论理论解释及对循环神经网络和卷积神经网络的潜在扩展。

提出的方法

• 通过引入辅助变量 z_l 和 a_l 将网络变量分割，以使 W_l 与激活函数解耦。
• 将训练表述为约束问题，并应用一个类似 Bregman/ADMM 的迭代，对 W_l、a_l 和 z_l 给出闭式子问题。
• 将 W_l 更新为简单的线性最小二乘：W_l <- z_l a_l^T (a_l a_l^T)^{-1}（通过伪逆）。
• 通过 a_l 进行更新：a_l = (β_{l+1} W_{l+1}^T W_{l+1} + γ_l I)^{-1} (β_{l+1} W_{l+1}^T z_{l+1} + γ_l h_l(z_l)).
• 通过解耦的1D问题来更新 z_l：最小化 γ_l ||a_l − h_l(z_l)||^2 + β_l ||z_l − W_l a_{l-1}||^2，给出对于分段线性激活（如 ReLU）的闭式解或查表解。
• 提供一个拉格朗日乘数更新：λ <- λ + β_L (z_L − W_L a_{L-1})；讨论通过 Bregman 迭代和乘子法的解释。

实验结果

研究问题

• RQ1 是否可以在没有梯度基步骤的情况下有效地训练神经网络？
• RQ2 当数据与计算分布在大量核心上时，基于 ADMM/Bregman 的方法是否实现线性扩展？
• RQ3 在速度和精度方面，所提方法与 SGD、CG 和 L-BFGS 在大规模数据集上的比较如何？
• RQ4 该框架是否可以扩展到具有高效子问题解的循环或卷积结构？

主要发现

• 该方法将训练分解为具有闭式解的子问题，避免了梯度步骤。
• 激活和权重更新在各层上分解，便于对层和数据并行化。
• 实证结果显示核心数量呈线性扩展，ADMM 在非常大规模的数据集上在达成准确时间方面优于传统方法。
• 在 SVHN 数据集上，ADMM 以与 GPU 基方法竞争的达成精度时间，并在数千核心上实现强规模扩展。
• 在 Higgs 数据集上，ADMM 随着核心数量增加达到 64% 的准确率显著更快（如在 7200 核时仅 7.8 秒），而梯度方法落后。
• L-BFGS 在 Higgs 上取得了更高的最终准确率，但达到同一阈值所需的时间远远多于 ADMM。