[论文解读] Revisiting Sub-sampled Newton Methods

Haishan Ye, Luo Luo+1 more|arXiv (Cornell University)|Aug 8, 2016

Stochastic Gradient Optimization Techniques参考文献 19被引用 3

一句话总结

本文提出了两种新颖的子采样牛顿方法——精化子采样牛顿（ReSubNewton）与精化图示牛顿（ReSkeNewton），在不增加采样规模的情况下，即使对于病态条件的海森矩阵，也能实现超线性与二次收敛。这些方法利用精化海森矩阵逼近与图示技术，理论分析显示收敛性显著提升，实证结果也表明其在计算效率上优于现有子采样牛顿方法。

ABSTRACT

Many machine learning models depend on solving a large scale optimization problem. Recently, sub-sampled Newton methods have emerged to attract much attention for optimization due to their efficiency at each iteration, rectified a weakness in the ordinary Newton method of suffering a high cost at each iteration while commanding a high convergence rate. In this work we propose two new efficient Newton-type methods, Refined Sub-sampled Newton and Refined Sketch Newton. Our methods exhibit a great advantage over existing sub-sampled Newton methods, especially when Hessian-vector multiplication can be calculated efficiently. Specifically, the proposed methods are shown to converge superlinearly in general case and quadratically under a little stronger assumption. The proposed methods can be generalized to a unifying framework for the convergence proof of several existing sub-sampled Newton methods, revealing new convergence properties. Finally, we empirically evaluate the performance of our methods on several standard datasets and the results show consistent improvement in computational efficiency.

研究动机与目标

• 解决子采样牛顿方法中超线性与二次收敛的开放问题，且不增加采样复杂度。
• 构建统一的理论框架，用于分析现有子采样牛顿方法的收敛性质。
• 探究海森矩阵的利普希茨连续性条件在收敛性中是否必要，尤其在非利普希茨设定下。
• 提升大规模机器学习优化问题中病态海森矩阵的计算效率与收敛速率。

提出的方法

• 提出精化子采样牛顿（ReSubNewton），通过精化采样策略改进海森矩阵逼近，以提升曲率估计精度。
• 提出精化图示牛顿（ReSkeNewton），利用具有改进子空间嵌入保证的图示技术，高效逼近海森矩阵。
• 利用海森矩阵逼近的精化误差界，通过 $\nabla^2F(x^{(t)}) - H^{(t)}$ 与 $\norm{[H^{(t)}]^{-1}}$ 确保在更弱假设下的收敛性。
• 基于关键定理（定理 7）建立统一的收敛性框架，通过 $\rho = \norm{( abla^2F - H^{(t)})} \norm{[H^{(t)}]^{-1}}$ 限制收敛速率。
• 应用子空间嵌入理论，确保海森矩阵逼近 $H^{(t)}$ 以高概率满足 $(1-\rho)\nabla^2F \trianglelefteq H^{(t)} \trianglelefteq (1+\rho)\nabla^2F$。
• 集成满足 $(\rho \frac{\tau}{K})$-子空间嵌入性质的图示矩阵 $S$，以控制海森矩阵及其逆矩阵逼近误差。

实验结果

研究问题

• RQ1 子采样牛顿方法是否能在不增加样本数量的情况下实现超线性或二次收敛？
• RQ2 是否存在一个统一的理论框架，用于分析多种子采样牛顿方法的收敛性？
• RQ3 子采样牛顿方法中，海森矩阵的利普希茨连续性条件是否对收敛性是必要的？
• RQ4 与标准子采样牛顿方法相比，精化海森矩阵逼近在病态条件下如何提升收敛性？

主要发现

• ReSubNewton 与 ReSkeNewton 在一般情况下实现超线性收敛，且无需增加采样规模，解决了子采样牛顿方法中的一个关键开放问题。
• 在稍强假设下，所提方法实现二次收敛，这是子采样牛顿方法中的首次此类结果。
• 当 $\rho < 1/2$ 时，方法以概率 $(1-\rho)^T$ 线性收敛；当迭代进行时 $\rho \to 0$，则实现超线性收敛。
• 理论分析表明，收敛速率取决于 $\rho = \norm{( abla^2F - H^{(t)})} \norm{[H^{(t)}]^{-1}}$，而所提方法通过精化海森矩阵估计使该比值保持较小。
• 在标准数据集上的实证评估证实，与现有子采样牛顿方法相比，计算效率持续提升。
• 该框架统一了多种现有子采样牛顿方法的收敛性分析，揭示了在利普希茨条件下线性-二次收敛速率等新收敛性质。