[论文解读] Near-Optimal Hyperfast Second-Order Method for convex optimization and its Sliding

Dmitry Kamzolov, Alexander Gasnikov|arXiv (Cornell University)|Feb 20, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用 10

一句话总结

本文提出了一种针对具有利普希茨连续三阶导数的凸优化问题的近似最优超快速二阶方法，收敛速率可达 $O(N^{-5})$，仅含对数因子。通过结合一种不精确的近似最优三阶张量方法与仅使用二阶预言机信息求解子问题的Bregman距离梯度方案，该方法在该类问题中实现了迄今为止最佳的收敛速率，同时提出了一套新颖的滑动框架以处理函数之和问题。

ABSTRACT

In this paper, we present a new Hyperfast Second-Order Method with convergence rate $O(N^{-5})$ up to a logarithmic factor for the convex function with Lipshitz the third derivative. This method based on two ideas. The first comes from the superfast second-order scheme of Yu. Nesterov (CORE Discussion Paper 2020/07, 2020). It allows implementing the third-order scheme by solving subproblem using only the second-order oracle. This method converges with rate $O(N^{-4})$. The second idea comes from the work of Kamzolov et al. (arXiv:2002.01004). It is the inexact near-optimal third-order method. In this work, we improve its convergence and merge it with the scheme of solving subproblem using only the second-order oracle. As a result, we get convergence rate $O(N^{-5})$ up to a logarithmic factor. This convergence rate is near-optimal and the best known up to this moment. Further, we investigate the situation when there is a sum of two functions and improve the sliding framework from Kamzolov et al. (arXiv:2002.01004) for the second-order methods.

研究动机与目标

• 开发一种针对具有利普希茨连续三阶导数的凸优化问题的超快速二阶方法，以实现该类问题迄今最佳的收敛速率。
• 在求解高阶子问题时仅使用二阶预言机信息，避免直接计算三阶导数。
• 通过引入一种滑动框架，将方法扩展至涉及两个凸函数之和的复合问题，从而实现对每个函数的预言机复杂度解耦。
• 在高阶光滑性假设下，为单个和复合凸优化问题建立近似最优的收敛速率与预言机复杂度。

提出的方法

• 该方法采用一种不精确的近似最优加速张量方法求解带有可控误差的泰勒近似子问题，确保在无需精确三阶信息的情况下实现收敛。
• 利用Bregman距离梯度方法求解子问题，仅依赖二阶预言机访问，从而在相同光滑性假设下实现实际可实施性。
• 该方法结合内斯特罗夫的超快速二阶方案与不精确梯度技术，实现了 $O(N^{-5})$ 的收敛速率（含对数因子）。
• 对于复合问题，引入一种滑动框架，将求和中每个函数的预言机复杂度分离开来，支持独立计算导数。
• 算法使用线搜索和Monteiro–Svaiter包络技术，以维持近似最优性，并在高阶光滑性条件下确保收敛。
• 理论分析通过Bregman散度与不精确子问题求解策略，建立了收敛速率与预言机复杂度的边界。

实验结果

研究问题

• RQ1 能否仅使用二阶预言机信息，使二阶方法在具有利普希茨连续三阶导数的凸函数上实现 $O(N^{-5})$ 的收敛速率？
• RQ2 如何有效利用高阶子问题的不精确解，在避免直接计算三阶导数的同时保持快速收敛？
• RQ3 滑动框架能否被适配至二阶张量方法，以实现对复合凸函数中各函数预言机复杂度的分离？
• RQ4 在高阶优化中，子问题精度与整体收敛速率之间最优权衡为何？
• RQ5 在高阶光滑性条件下，能否通过二阶方法实现对函数之和问题的近似最优收敛速率与预言机复杂度？

主要发现

• 所提出的超快速二阶方法在具有利普希茨连续三阶导数的凸函数上实现了 $O(N^{-5})$ 的收敛速率，为迄今最佳已知速率。
• 该方法通过Bregman距离梯度方法求解泰勒近似子问题，仅使用二阶预言机信息，避免了对三阶导数的直接计算。
• 收敛速率为近似最优，与理论下界仅相差对数因子。
• 对于涉及两个凸函数之和的复合问题，超快速二阶滑动方法实现了预言机复杂度的分离，支持对每个函数独立计算导数。
• 滑动框架在保持 $O(N^{-5})$ 收敛速率的同时，为函数之和情形实现了近似最优的预言机复杂度。
• 理论结果表明，该方法有潜力扩展至一阶与零阶方法，其复杂度边界分别为 $\tilde{O}(n\varepsilon^{-1/5})$ 次梯度评估与 $\tilde{O}(\varepsilon^{-1/5})$ 次Hessian求逆。