[论文解读] Sub-Sampled Cubic Regularization for Non-Convex Optimization

Jonas Köhler|arXiv (Cornell University)|Jan 1, 2017

Sparse and Compressive Sensing Techniques参考文献 22被引用 44

一句话总结

该论文提出子采样立方正则化（SCR），一种新颖的方法，通过在非凸优化中对立方正则化应用子采样，实现强大的全局与局部收敛保证，同时大幅降低计算成本。通过使用浓度不等式，SCR 以高概率确保 Hessian 矩阵和梯度的近似准确，使其在具有非凸目标函数（如深度学习）的大规模机器学习问题中具有实用性。

ABSTRACT

We consider the minimization of non-convex functions that typically arise in machine learning. Specifically, we focus our attention on a variant of trust region methods known as cubic regularization. This approach is particularly attractive because it escapes strict saddle points and it provides stronger convergence guarantees than first- and second-order as well as classical trust region methods. However, it suffers from a high computational complexity that makes it impractical for large-scale learning. Here, we propose a novel method that uses sub-sampling to lower this computational cost. By the use of concentration inequalities we provide a sampling scheme that gives sufficiently accurate gradient and Hessian approximations to retain the strong global and local convergence guarantees of cubically regularized methods. To the best of our knowledge this is the first work that gives global convergence guarantees for a sub-sampled variant of cubic regularization on non-convex functions. Furthermore, we provide experimental results supporting our theory.

研究动机与目标

• 解决在大规模非凸优化中立方正则化因完整 Hessian 矩阵计算而带来的高计算成本问题。
• 为立方正则化的子采样子变体在非凸函数上提供理论保证，此前这些保证尚不存在。
• 在降低每轮迭代成本的同时，保留立方正则化强收敛特性，例如逃离严格鞍点并实现全局收敛。
• 设计一种采样方案，确保梯度和 Hessian 矩阵近似具有足够精度，以维持收敛保证。
• 在真实世界和合成数据集上展示实际效率与可扩展性，其在速度和精度上优于一阶和二阶方法。

提出的方法

• 提出一种子采样策略，用于在立方正则化中近似完整 Hessian 矩阵和梯度，将计算成本从 O(nd²) 降低至 O(ns²)，其中 s ≪ n。
• 利用浓度不等式推导出一种采样方案，确保近似 Hessian 矩阵满足误差条件 ∥(Bk − Hk)sk∥ ≤ C∥sk∥² 的高概率成立。
• 将收敛性分析扩展至不精确梯度情形，证明在子采样下，立方正则化的全局与局部收敛保证得以保持。
• 采用基于 Lanczos 的 Krylov 子空间方法，在无需显式访问 Hessian 矩阵的情况下近似求解立方模型，从而保持效率。
• 引入一种动态采样大小策略，初始采样比例为 5%，并自适应增加，以在精度与速度之间取得平衡。
• 将子采样立方模型集成到信赖域框架中，使用回溯线搜索确保目标函数充分下降。

实验结果

研究问题

• RQ1 是否可以在立方正则化中使用子采样，在不牺牲非凸函数上全局收敛保证的前提下降低计算成本？
• RQ2 何种采样方案可确保子采样子 Hessian 矩阵和梯度足够精确，以维持精确立方正则化下的收敛特性？
• RQ3 在子采样下，所提方法是否仍具备逃离严格鞍点并收敛至二阶平稳点的能力？
• RQ4 在收敛速度和精度方面，子采样立方正则化相较于一阶方法（如 SGD）和二阶方法（如 L-BFGS、牛顿法）表现如何？
• RQ5 该方法是否能有效扩展至大规模机器学习问题，包括高维、非凸目标函数（如逻辑回归和多项式回归）？

主要发现

• 所提出的子采样方案以高概率确保近似 Hessian 矩阵满足所需误差条件 ∥(Bk − Hk)sk∥ ≤ C∥sk∥²，从而实现理论收敛保证。
• SCR 在 O(ϵ⁻³/²) 次迭代内实现全局收敛至 ∥∇f(xk)∥ ≤ ϵ，并在 O(ϵ⁻³) 次迭代内实现近似非负曲率，其最坏情况复杂度与精确立方正则化一致。
• 在 HIGGS 数据集（1100 万个样本）上，SCR 在达到给定次优性阈值时，相比标准 L-BFGS 实现了 3 倍加速，相比 SGD 实现了 5 倍加速。
• 在 MNIST 和 CIFAR 的多项式逻辑回归任务中，SCR 在 10 小时内达到高精度解（梯度范数 < 1e-8），在最终精度上优于 BFGS 和牛顿法。
• 该方法在维度上具有良好可扩展性：在 d = 10,000 的合成数据集上，SCR 保持了稳定的收敛性，而标准牛顿法因内存与计算限制而失败。
• 采用动态采样大小（初始为 5%）使 SCR 在精度与速度之间取得良好平衡，初始阶段进展快于全批量方法，同时保持收敛性。