[论文解读] Newton Sketch: A Linear-time Optimization Algorithm with Linear-Quadratic Convergence

Mert Pilancı, Martin J. Wainwright|arXiv (Cornell University)|May 9, 2015

Sparse and Compressive Sensing Techniques参考文献 17被引用 38

一句话总结

本文提出 Newton Sketch，一种使用 Hessian 矩阵随机投影的随机化二阶优化算法，以近似牛顿法。通过利用子采样哈达玛变换，该方法实现了与条件数无关的线性-二次收敛，且复杂度不依赖于条件数，为传统牛顿法提供了一种线性时间替代方案，并为自共轭函数提供了可证明的全局收敛保证。

ABSTRACT

We propose a randomized second-order method for optimization known as the Newton Sketch: it is based on performing an approximate Newton step using a randomly projected or sub-sampled Hessian. For self-concordant functions, we prove that the algorithm has super-linear convergence with exponentially high probability, with convergence and complexity guarantees that are independent of condition numbers and related problem-dependent quantities. Given a suitable initialization, similar guarantees also hold for strongly convex and smooth objectives without self-concordance. When implemented using randomized projections based on a sub-sampled Hadamard basis, the algorithm typically has substantially lower complexity than Newton's method. We also describe extensions of our methods to programs involving convex constraints that are equipped with self-concordant barriers. We discuss and illustrate applications to linear programs, quadratic programs with convex constraints, logistic regression and other generalized linear models, as well as semidefinite programs.

研究动机与目标

• 开发一种可扩展的二阶优化方法，避免牛顿法中精确 Hessian 矩阵计算的高成本。
• 在不依赖于条件数或光滑性等问题相关参数的情况下，实现超线性收敛并提供收敛保证。
• 设计一种方法，在将每轮迭代复杂度降低至输入规模的近线性水平的同时，保持对自共轭函数的全局收敛性。
• 通过使用自共轭障碍函数的内点法，将该框架扩展至约束优化问题。
• 提供随问题维度有利增长的理论复杂度界，尤其在高维设置下表现优异。

提出的方法

• 通过使用随机投影矩阵（如子采样哈达玛变换）将 Hessian 矩阵投影到低维子空间，近似牛顿步长。
• 通过在投影后的 Hessian 上求解一个更小的线性系统，计算近似牛顿方向，将每轮迭代成本从 O(nd²) 降低至 O(nd log m + dm²)。
• 投影维度 m 的选择与 min{d, n} 成正比，对于结构化问题（特别是当 n ≫ d 时）可显著减小。
• 对于自共轭函数，该算法以高概率保证线性-二次收敛，且不依赖于强凸性或光滑性参数。
• 采用仿射不变分析方法，建立对问题缩放和数据结构具有鲁棒性的收敛保证。
• 对于约束问题，该方法与障碍法集成，在内点框架内高效求解牛顿步长。

实验结果

研究问题

• RQ1 对 Hessian 矩阵采用随机投影方法，是否能在降低计算成本的同时保持牛顿法的超线性收敛性？
• RQ2 为确保以高概率收敛，所需的投影维度 m 是多少？其随问题规模如何变化？
• RQ3 能否使 Newton Sketch 的收敛保证独立于条件数等与问题相关的参数？
• RQ4 在 n ≫ d 或 d ≫ n 的高维设置下，该方法表现如何？适用的复杂度界是什么？
• RQ5 该投影框架能否扩展至具有自共轭障碍函数的约束优化问题？

主要发现

• 对于自共轭函数，Newton Sketch 以指数级高概率实现线性-二次收敛，且不依赖于条件数或光滑性参数。
• 当使用子采样哈达玛投影时，每轮迭代复杂度为 O(nd log m + dm²)，当 m ≈ d 且 n ≥ d² 时，可简化为 O(nd log d)，实现输入规模的线性时间复杂度。
• 达到 δ-最优解的总复杂度为 O(nd log d log(1/δ))，且不依赖于强凸性或光滑性参数。
• 当 d > n 时，通过交换 d 与 n 的角色，采用对偶形式，可实现相似复杂度并保持相同的收敛保证。
• 该方法适用于逻辑回归、二次规划、线性规划及通过障碍法求解的半定规划问题，具有可证明的收敛性和复杂度界。
• 对于 ℓ₁-约束问题，通过利用稀疏性与 Hessian 结构，对切锥的高斯宽度进行有界，从而在稀疏性假设下实现收敛性分析。