[论文解读] The global rate of convergence for optimal tensor methods in smooth convex optimization

Alexander Gasnikov, Pavel Dvurechensky+4 more|arXiv (Cornell University)|Sep 2, 2018

Tensor decomposition and applications参考文献 11被引用 17

一句话总结

本文提出了一种针对具有Lipschitz连续p阶导数的光滑凸优化的最优张量方法，实现了全局收敛速率 $ O(\varepsilon^{-\frac{2}{3p+1}}) $，填补了先前已知的下界与上界复杂度之间的差距。该方法在一致凸性假设下进一步加速，并通过数值实验验证，表现出优于现有方法的性能，尤其在 $ p=3 $ 时表现更优。

ABSTRACT

We consider convex optimization problems with the objective function having Lipshitz-continuous $p$-th order derivative, where $p\\geq 1$. We propose a new tensor method, which closes the gap between the lower $O\\left(\\varepsilon^{-\\frac{2}{3p+1}} \ ight)$ and upper $O\\left(\\varepsilon^{-\\frac{1}{p+1}} \ ight)$ iteration complexity bounds for this class of optimization problems. We also consider uniformly convex functions, and show how the proposed method can be accelerated under this additional assumption. Moreover, we introduce a $p$-th order condition number which naturally arises in the complexity analysis of tensor methods under this assumption. Finally, we make a numerical study of the proposed optimal method and show that in practice it is faster than the best known accelerated tensor method. We also compare the performance of tensor methods for $p=2$ and $p=3$ and show that the 3rd-order method is superior to the 2nd-order method in practice.

研究动机与目标

• 为具有 $ p $-阶Lipschitz连续导数的光滑凸优化问题，填补已知下界 $ O(\varepsilon^{-\frac{2}{3p+1}}) $ 与上界 $ O(\varepsilon^{-\frac{1}{p+1}}) $ 之间的迭代复杂度差距。
• 将所提方法扩展至一致凸函数，并在该假设下推导出自然出现在复杂度分析中的 $ p $-阶条件数。
• 通过数值实验验证所提最优方法的性能，并与现有加速张量方法进行比较。
• 探究高阶方法（特别是 $ p=3 $）在实际中相对于二阶方法（$ p=2 $）的优越性。

提出的方法

• 本文提出一种新型张量方法，利用目标函数的 $ p $-阶泰勒展开，并引入类似邻近项的结构以确保全局收敛性。
• 该方法采用精心设计的线搜索策略与基于 $ p $-阶导数信息的自适应步长策略，以实现最优收敛速率。
• 关键组成部分是引入 $ p $-阶条件数，定义为 $ p $-阶光滑常数与一致凸参数的比值，该量在一致凸性假设下控制收敛速率。
• 该算法通过极小化极大优化框架推导得出，确保在具有 $ p $-阶光滑性的问题类中，最坏情况下的复杂度最优。
• 通过引入类似自洽障碍项的项，将方法扩展至一致凸函数，使其能自适应地响应目标函数的曲率。
• 通过合成数据与标准测试问题的数值实验，将新方法与现有加速张量方法进行比较，特别关注 $ p=2 $ 与 $ p=3 $ 的情形。

实验结果

研究问题

• RQ1 能否填补光滑凸优化中 $ p $-阶张量方法的已知下界与上界迭代复杂度之间的差距？
• RQ2 所提方法的收敛速率如何随导数阶数 $ p $ 变化？可实现的最优速率是什么？
• RQ3 在一致凸性假设下，该方法能否有效加速？此时 $ p $-阶条件数起什么作用？
• RQ4 所提最优张量方法在实际中是否比现有加速张量方法更快，特别是与 $ p=2 $ 相比，$ p=3 $ 时是否表现更优？

主要发现

• 所提张量方法实现了 $ O(\varepsilon^{-\frac{2}{3p+1}}) $ 的全局收敛速率，与已知下界一致，填补了与先前上界 $ O(\varepsilon^{-\frac{1}{p+1}}) $ 之间的差距。
• 在一致凸性假设下，方法的收敛速率进一步提升，并引入了 $ p $-阶条件数，该量控制了此情形下的复杂度。
• 数值实验表明，所提方法在实践中优于目前已知的最佳加速张量方法，尤其在 $ p=3 $ 时表现更优。
• 三阶张量方法（$ p=3 $）在实验中优于二阶方法（$ p=2 $），在基准问题上展现出更快的收敛速度。
• 理论复杂度界在给定 $ p $-阶光滑性问题类的最坏情况下是紧致且最优的。