[论文解读] Nestrov's Acceleration For Second Order Method

Haishan Ye, Zhihua Zhang|arXiv (Cornell University)|May 19, 2017

Stochastic Gradient Optimization Techniques参考文献 2被引用 3

一句话总结

本文通过将Nesterov加速技术应用于近似牛顿法，提出了一种加速的正则化子采样牛顿方法，显著提升了收敛速度和性能。理论分析证实了其加速效果与一阶方法类似，实验结果表明其在性能上优于基线方法和当前最先进算法。

ABSTRACT

Optimization plays a key role in machine learning. Recently, stochastic second-order methods have attracted much attention due to their low computational cost in each iteration. However, these algorithms might perform poorly especially if it is hard to approximate the Hessian well and efficiently. As far as we know, there is no effective way to handle this problem. In this paper, we resort to Nestrov's acceleration technique to improve the convergence performance of a class of second-order methods called approximate Newton. We give a theoretical analysis that Nestrov's acceleration technique can improve the convergence performance for approximate Newton just like for first-order methods. We accordingly propose an accelerated regularized sub-sampled Newton. Our accelerated algorithm performs much better than the original regularized sub-sampled Newton in experiments, which validates our theory empirically. Besides, the accelerated regularized sub-sampled Newton has good performance comparable to or even better than state-of-art algorithms.

研究动机与目标

• 为解决当Hessian矩阵近似不准确时，随机二阶方法性能不佳的问题。
• 探究Nesterov加速技术（在一类一阶方法中有效）是否能提升牛顿类二阶方法（如近似牛顿法）的性能。
• 开发一种理论基础坚实的、加速的正则化子采样牛顿法变体，以实现更快的收敛速度。

提出的方法

• 将Nesterov加速框架适配至近似牛顿法，引入类似动量的更新机制并结合外推法。
• 在子采样Hessian矩阵近似中引入正则化，以在病态条件设置下稳定优化过程。
• 采用两重循环更新机制：一重用于外推搜索点，另一重用于基于Hessian的下降步骤。
• 将Nesterov的最优加速策略应用于子采样Hessian更新，确保收敛速率的提升。

实验结果

研究问题

• RQ1 Nesterov加速技术是否能像在一阶方法中那样，提升近似牛顿法的收敛性能？
• RQ2 在实际应用中，加速的正则化子采样牛顿法相较于原始的正则化子采样牛顿法表现如何？
• RQ3 所提方法是否能达到或超越当前最先进优化算法的性能？

主要发现

• 在所有测试实验中，所提出的加速正则化子采样牛顿法均比原始正则化子采样牛顿法收敛更快。
• 理论分析证实，Nesterov加速可提升近似牛顿法的收敛速率，效果与一阶设置中一致。
• 实验结果表明，该加速方法在多个基准数据集上均优于或匹配当前最先进算法。
• 由于加速机制的存在，该方法在Hessian近似具有挑战性时仍表现出良好的鲁棒性。