[论文解读] Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update

Michał Dereziński, Jonathan Lacotte+2 more|arXiv (Cornell University)|Jul 15, 2021

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

Newton-LESS 提出了一种稀疏化拟谱方法，用于牛顿拟谱法，在显著降低计算成本的同时保持了密集高斯嵌入的收敛特性。通过结合勒贝格分数稀疏化（LESS）嵌入与均匀随机稀疏化，其在问题无关的局部收敛速率上几乎与高斯拟谱完全一致，为迭代最小二乘求解器建立了新的最先进水平，且在性能或精度上无任何权衡。

ABSTRACT

In second-order optimization, a potential bottleneck can be computing the Hessian matrix of the optimized function at every iteration. Randomized sketching has emerged as a powerful technique for constructing estimates of the Hessian which can be used to perform approximate Newton steps. This involves multiplication by a random sketching matrix, which introduces a trade-off between the computational cost of sketching and the convergence rate of the optimization algorithm. A theoretically desirable but practically much too expensive choice is to use a dense Gaussian sketching matrix, which produces unbiased estimates of the exact Newton step and which offers strong problem-independent convergence guarantees. We show that the Gaussian sketching matrix can be drastically sparsified, significantly reducing the computational cost of sketching, without substantially affecting its convergence properties. This approach, called Newton-LESS, is based on a recently introduced sketching technique: LEverage Score Sparsified (LESS) embeddings. We prove that Newton-LESS enjoys nearly the same problem-independent local convergence rate as Gaussian embeddings, not just up to constant factors but even down to lower order terms, for a large class of optimization tasks. In particular, this leads to a new state-of-the-art convergence result for an iterative least squares solver. Finally, we extend LESS embeddings to include uniformly sparsified random sign matrices which can be implemented efficiently and which perform well in numerical experiments.

研究动机与目标

• 消除大规模问题中因 Hessian 矩阵计算导致的二阶优化计算瓶颈。
• 解决随机牛顿方法中拟谱成本与收敛速率之间的权衡问题。
• 开发一种拟谱方法，保留高斯嵌入的强收敛保证，同时通过稀疏化实现高效计算。
• 证明稀疏化拟谱可匹配密集高斯拟谱的收敛行为，且无性能下降。
• 为 LESS 嵌入提供理论与实证验证，证明其作为牛顿型求解器中密集拟谱的实用替代方案。

提出的方法

• 提出 Newton-LESS，一种使用勒贝格分数稀疏化（LESS）嵌入来近似牛顿步长中 Hessian 矩阵的随机二阶优化方法。
• 采用每行具有固定非零条目数的拟谱矩阵，非零条目均匀随机选取，并通过缩放保持方差不变。
• 对高斯嵌入进行均匀随机稀疏化，其中每行恰好包含 $ d $ 个非零条目，取值为 $ \pm (n / (m s))^{1/2} $ 均匀随机分布。
• 将该拟谱应用于数据矩阵 $ \mathbf{A}_f(\mathbf{x}) $，将 Hessian 矩阵计算成本从 $ O(nd^2) $ 降低至 $ O(md^2) $，其中 $ m \ll n $。
• 推导理论收敛边界，表明 Newton-LESS 实现了 $ O(d_{\text{eff}}/m) $ 的局部收敛速率，与高斯嵌入完全一致。
• 将 LESS 嵌入扩展至包含均匀稀疏化的随机符号矩阵，以实现高效实现并获得强的实证性能。

实验结果

研究问题

• RQ1 我们能否在不降低收敛速率的前提下对牛顿拟谱中的密集高斯拟谱矩阵进行稀疏化？
• RQ2 每行仅含 $ d $ 个非零条目的稀疏化拟谱矩阵是否能保留高斯嵌入的问题无关收敛保证？
• RQ3 对高斯嵌入进行均匀随机稀疏化是否能获得与密集拟谱相当的收敛速率？
• RQ4 Newton-LESS 的理论收敛速率是多少？与 Sub-Sampling 和 SRHT 等现有拟谱方法相比如何？
• RQ5 Newton-LESS 在实际应用中，特别是在不同数据集上的运行时间与误差降低方面表现如何？

主要发现

• Newton-LESS 实现了 $ O(d_{\text{eff}}/m) $ 的局部收敛速率，不仅与高斯嵌入的理论速率在常数因子上一致，且在低阶项上也完全匹配。
• 该方法在所有测试数据集上（包括高一致性的合成数据、Musk、CIFAR-10 和 WESAD）均保持了与高斯拟谱几乎完全相同的收敛行为。
• 均匀稀疏化的 LESS 嵌入（LESS-uniform）在收敛性方面与高斯嵌入表现几乎完全一致，即使每行仅含 $ d $ 个非零条目。
• 数值实验显示显著加速：LESS-uniform 在保持相近误差降低的同时，大幅减少了运行时间。
• 对于正则化最小二乘问题，Newton-LESS 的收敛速率被 $ d_{\text{eff}}/m $ 所限制，证实了理论预测，并在收敛速度上优于 Sub-Sampling 和勒贝格分数采样方法。
• 该方法通过结合低计算成本与强收敛保证，为迭代最小二乘求解器设定了新的最先进水平。