[论文解读] Stochastic Block BFGS: Squeezing More Curvature out of Data

Robert M. Gower, Donald Goldfarb+1 more|arXiv (Cornell University)|Mar 31, 2016

Stochastic Gradient Optimization Techniques参考文献 34被引用 10

一句话总结

该论文提出Stochastic Block BFGS，一种新颖的有限内存拟牛顿方法，通过使用随机投影（sketching）从Hessian近似中提取更丰富的曲率信息，从而增强随机优化。通过将先前的逆Hessian估计投影到由随机低秩矩阵定义的投影解空间上，该方法实现了线性收敛，并在大规模逻辑回归问题上优于当前最先进方法。

ABSTRACT

We propose a novel limited-memory stochastic block BFGS update for incorporating enriched curvature information in stochastic approximation methods. In our method, the estimate of the inverse Hessian matrix that is maintained by it, is updated at each iteration using a sketch of the Hessian, i.e., a randomly generated compressed form of the Hessian. We propose several sketching strategies, present a new quasi-Newton method that uses stochastic block BFGS updates combined with the variance reduction approach SVRG to compute batch stochastic gradients, and prove linear convergence of the resulting method. Numerical tests on large-scale logistic regression problems reveal that our method is more robust and substantially outperforms current state-of-the-art methods.

研究动机与目标

• 解决经典随机拟牛顿方法仅使用单个Hessian-向量乘积所导致的曲率信息不足的问题。
• 开发一种更具灵活性和信息量的逆Hessian更新机制，通过随机投影利用多个曲率方向。
• 为高维数据的大规模经验风险最小化（ERM）问题提供高效且可扩展的优化方法。
• 将新型块BFGS更新与SVRG等方差减少技术结合，实现在标准假设下的线性收敛。
• 在大规模逻辑回归任务中，与现有随机L-BFGS和SVRG方法相比，展现出更优的鲁棒性和更快的收敛速度。

提出的方法

• 提出一种随机块BFGS更新，通过使用数据子集 $ T $ 的Hessian矩阵 $ \nabla^2 f_T(x_t) $ 的随机投影来维护逆Hessian估计 $ H_t $，其中 $ T $ 是数据的随机子集。
• 实现基于投影的更新：将前一估计 $ H_{t-1} $ 投影到满足 $ H_t \nabla^2 f_T(x_t) D_t = D_t $ 的对称矩阵集合上，其中 $ D_t \in \mathbb{R}^{d \times q} $ 为随机投影矩阵，且 $ q \ll d $。
• 利用 $ q $ 个方向导数（通过Hessian-向量乘积）高效计算投影 $ \nabla^2 f_T(x_t) D_t $，避免完整Hessian矩阵的计算与存储。
• 提出一种有限内存变体，仅存储最近 $ M $ 个块三元组 $ (D_i, Y_i, \Delta_i) $，从而在大规模问题中实现内存效率。
• 将块BFGS更新与SVRG方差减少框架结合，在标准假设下实现线性收敛。
• 利用Sherman-Morrison-Woodbury恒等式推导出逆Hessian近似的闭式更新，确保正定性与数值稳定性。

实验结果

研究问题

• RQ1 通过随机投影利用多个曲率方向的随机拟牛顿方法，是否能在收敛速度和鲁棒性方面优于经典随机L-BFGS方法？
• RQ2 将逆Hessian方程 $ H \nabla^2 f_T(x) = I $ 的投影版本引入，是否能相比仅使用单个Hessian-向量乘积，获得更良态的度量矩阵？
• RQ3 当与SVRG结合时，所提出的块BFGS更新是否能实现大规模ERM问题在高维数据下的线性收敛？
• RQ4 在大规模逻辑回归任务中，随机块BFGS方法与当前最先进方法（如SVRG和L-BFGS-SVRG）相比性能如何？
• RQ5 随机投影对逆Hessian近似条件数和谱性质的理论影响是什么？

主要发现

• 在标准假设（强凸性和有界Hessian变化）下，结合SVRG框架时，所提出的随机块BFGS方法实现了线性收敛。
• 在大规模逻辑回归问题上，该方法显著优于标准SVRG和L-BFGS-SVRG，展现出更快的收敛速度和更强的鲁棒性。
• 数值实验表明，块BFGS更新比传统L-BFGS更有效地捕捉曲率信息，从而实现更快收敛并改善度量矩阵的条件性。
• 理论分析证实，逆Hessian估计保持良好的条件性，其满足 $ \|H_t\|_2 \leq (1 + \sqrt{\kappa})^{2M} \left( \|H_{t-M}\| + \frac{1}{\lambda(2\sqrt{\kappa} + \kappa)} \right) $，其中 $ \kappa $ 为Hessian矩阵的条件数。
• 通过每轮仅使用 $ q \ll d $ 个方向导数，该方法保持了计算效率，使其可扩展至高维问题。
• 使用随机投影使逆Hessian近似精度优于单向量BFGS更新，且额外计算成本极低。