[论文解读] Quasi-Newton Methods for Deep Learning: Forget the Past, Just Sample.

Albert S. Berahas, Majid Jahani+1 more|arXiv (Cornell University)|Jan 28, 2019

Model Reduction and Neural Networks参考文献 60被引用 36

一句话总结

本文提出了用于深度学习的采样拟牛顿方法——S-LBFGS 和 S-LSR1，这些方法在每次迭代时随机采样当前迭代点附近的点，以构建海森矩阵或其逆矩阵的近似。通过依赖最新、局部的数据而非过时的过去迭代点，该方法实现了更优的收敛性和效率，在玩具模型和真实世界神经网络基准测试中均优于经典变体。

ABSTRACT

We present two sampled quasi-Newton methods for deep learning: sampled LBFGS (S-LBFGS) and sampled LSR1 (S-LSR1). Contrary to the classical variants of these methods that sequentially build Hessian or inverse Hessian approximations as the optimization progresses, our proposed methods sample points randomly around the current iterate at every iteration to produce these approximations. As a result, the approximations constructed make use of more reliable (recent and local) information, and do not depend on past iterate information that could be significantly stale. Our proposed algorithms are efficient in terms of accessed data points (epochs) and have enough concurrency to take advantage of parallel/distributed computing environments. We provide convergence guarantees for our proposed methods. Numerical tests on a toy classification problem as well as on popular benchmarking neural network training tasks reveal that the methods outperform their classical variants.

研究动机与目标

• 解决经典拟牛顿方法在深度学习中因依赖过时、陈旧的迭代点信息而导致的低效问题。
• 通过使用最新、局部的数据点而非累积的过去迭代点，提升收敛性和优化效率。
• 通过数据采样实现更好的并行化和分布式计算环境中的可扩展性。
• 为采样拟牛顿方法在深度学习中的收敛性提供理论保证。
• 在标准深度学习任务上，通过实证验证所提方法相较于经典 LBFGS 和 LSR1 的优越性。

提出的方法

• 提出 S-LBFGS 和 S-LSR1 作为经典拟牛顿方法在深度学习中的采样变体。
• 在每次迭代中，随机采样当前迭代点附近的点，以构建海森矩阵或其逆矩阵的近似。
• 仅使用最新和局部的数据形成近似，避免依赖过时的过去迭代点。
• 通过限制每次迭代的采样点数量，保持低内存和计算开销。
• 将采样机制整合进拟牛顿更新流程，在标准假设下确保收敛性。
• 通过支持采样点和梯度计算的并行执行，提升并发性。

实验结果

研究问题

• RQ1 在当前迭代点附近采样最新、局部的点，是否能提升深度学习中海森矩阵近似的质量？
• RQ2 用采样数据替代对过去迭代点的依赖，是否能加快拟牛顿优化的收敛速度？
• RQ3 采样拟牛顿方法是否能在分布式环境中实现更好的可扩展性和性能？
• RQ4 在深度学习中，采样拟牛顿方法可建立何种理论收敛保证？
• RQ5 S-LBFGS 和 S-LSR1 在标准深度学习基准测试中与经典 LBFGS 和 LSR1 相比表现如何？

主要发现

• S-LBFGS 和 S-LSR1 在一个玩具分类问题中优于经典 LBFGS 和 LSR1，表现出更快的收敛速度和更低的损失。
• 与经典变体相比，所提方法在主流基准神经网络任务上实现了更高的测试准确率。
• S-LBFGS 和 S-LSR1 需要更少的数据访问次数（训练轮次）即可收敛，表明其数据效率更高。
• 这些方法展现出强大的可扩展性，能够有效利用并行和分布式计算资源。
• 在标准假设下建立了理论收敛保证，证实了基于采样的方法的稳健性。
• 使用最新、局部的采样数据减少了对陈旧过去迭代点的依赖，从而获得更可靠的海森矩阵近似。