[论文解读] Towards Unified Acceleration of High-Order Algorithms under Hölder Continuity and Uniform Convexity.

Chaobing Song, Yi Ma|arXiv (Cornell University)|Jun 3, 2019

Sparse and Compressive Sensing Techniques参考文献 42被引用 9

一句话总结

本文提出了一种统一加速框架（UAF），用于具有 Hölder 连续导数和一致凸性的高阶凸优化问题，通过一种朴素的邻近方法统一了两种主要的高阶加速方法。UAF 实现了与已知下界匹配的最优迭代复杂度，并将高阶方法扩展至非欧几里得范数，其配套的实用启发式方法简化了实现过程，在运行时间性能上显著优于一阶方法。

ABSTRACT

In this paper, through a very intuitive vanilla proximal method perspective, we derive accelerated high-order optimization algorithms for minimizing a convex function that has Holder continuous derivatives. In this general convex setting, we propose a concise unified acceleration framework (UAF), which reconciles the two different high-order acceleration approaches, one by Nesterov and Baes [29, 3, 33] and one by Monteiro and Svaiter [25]. As result, the UAF unifies the high-order acceleration instances [29, 3, 33, 15, 16, 25, 19, 6, 14] of the two approaches by only two problem-related parameters and two additional parameters for framework design. Furthermore, the UAF (and its analysis) is the first approach to make high-order methods applicable for high-order smoothness conditions with respect to non-Euclidean norms. If the function is further uniformly convex, we propose a general restart scheme for the UAF. The iteration complexities of instances of both the UAF and the restarted UAF match existing lower bounds in most important cases [2, 16]. For practical implementation, we introduce a new and effective heuristic that significantly simplifies the binary search procedure required by the framework. We use experiments to verify the effectiveness of the heuristic and demonstrate clear and consistent advantages of high-order acceleration methods over first-order ones, in terms of run-time complexity. Finally, the UAF is proposed directly in the general composite convex setting, thus show that the existing high-order algorithms [29, 3, 33, 16, 6, 14] can be naturally extended to the general composite convex setting.

研究动机与目标

• 将现有高阶加速方法统一于一个适用于具有 Hölder 连续导数的一般凸函数的单一框架下。
• 将高阶方法扩展至非欧几里得范数设置，扩大其适用范围。
• 为一致凸函数设计一种重启策略，以保持最优收敛速率。
• 通过引入一种有效的启发式方法，简化高阶方法的实现过程，特别是针对二分搜索过程。
• 通过实验展示高阶方法在运行时间复杂度方面相对于一阶方法的优越性。

提出的方法

• UAF 从一种朴素邻近方法的视角推导而来，利用两个问题特定参数和两个框架特定参数，统一了现有的高阶加速方案。
• 该框架将 Nesterov 和 Baes [29, 3, 33] 以及 Monteiro 和 Svaiter [25] 的方法整合为一个统一且连贯的结构。
• 为一致凸函数提出了一种通用的重启策略，保持了最优的迭代复杂度。
• UAF 直接在复合凸设置下进行公式化，使得先前的高阶算法可被扩展至更广泛的函数类。
• 提出一种新颖的启发式方法，以简化高阶方法中通常需要的二分搜索过程，从而提升实际效率。
• 理论分析表明，UAF 及其重启变体在大多数重要情况下均实现了与已知下界匹配的迭代复杂度。

实验结果

研究问题

• RQ1 能否通过一个统一框架，在 Hölder 连续导数条件下统一两种主流的高阶加速方法？
• RQ2 如何在保持最优收敛性的同时，将高阶方法扩展至非欧几里得范数？
• RQ3 在统一框架中，一致凸函数的最优重启策略是什么？
• RQ4 是否可以通过一种实用启发式方法显著简化高阶方法的实现，同时不牺牲收敛性保证？
• RQ5 在实际应用中，高阶方法在运行时间复杂度方面相对于一阶方法的优势有多大？

主要发现

• UAF 实现了与现有下界匹配的最优迭代复杂度，在大多数重要情况下验证了其理论最优性。
• 该框架仅使用两个问题参数和两个框架参数，成功将来自 [29, 3, 33, 16, 6, 14, 25, 15, 19] 的多种高阶加速实例统一于单一结构之下。
• 首次将高阶方法扩展至非欧几里得范数，显著拓宽了其在非欧几里得设置中的适用范围。
• 所提出的用于一致凸函数的重启方案保持了最优收敛速率，并无缝集成于 UAF 框架中。
• 新启发式方法显著简化了二分搜索过程，实现了更高效且实用的实现。
• 实验结果证实，高阶方法在运行时间复杂度方面相对于一阶方法具有持续且明确的优势。