[论文解读] Near-optimal method for highly smooth convex optimization

Sébastien Bubeck, Qijia Jiang+3 more|arXiv (Cornell University)|Dec 19, 2018

Sparse and Compressive Sensing Techniques参考文献 7被引用 13

一句话总结

本文提出了加速泰勒下降法（ATD），一种基于 p 阶泰勒预言机的高阶光滑凸优化近似最优方法。通过在蒙特罗-斯瓦伊特尔型加速框架内结合高阶光滑性与一种新型线搜索策略，ATD 实现了 $\widetilde{O}(1/k^{\frac{3p+1}{2}})$ 的收敛速率，与 $p$-阶光滑凸函数的最优已知下界完全一致。

ABSTRACT

We propose a near-optimal method for highly smooth convex optimization. More precisely, in the oracle model where one obtains the $p^{th}$ order Taylor expansion of a function at the query point, we propose a method with rate of convergence $ ilde{O}(1/k^{\frac{ 3p +1}{2}})$ after $k$ queries to the oracle for any convex function whose $p^{th}$ order derivative is Lipschitz.

研究动机与目标

• 填补在高阶光滑性（$p \geq 2$）条件下凸优化最优收敛速率的空白，将经典内斯特罗夫式加速推广至更高阶光滑情形。
• 设计一种在 $p$-阶光滑性下可实现最优收敛速率的方法，与近期建立的下界完全匹配。
• 设计一种高效实现，每轮迭代仅需 $\widetilde{O}(1)$ 次 $p$-阶泰勒预言机调用，解决先前方法中的复杂度问题。
• 对算法中的线搜索过程提供紧致分析，确保在可控预言机复杂度下具备实际可实施性。

提出的方法

• 提出加速泰勒下降法（ATD），一种基于 $p$-阶泰勒预言机的新优化算法，该预言机可返回目标函数在查询点处的完整 $p$-阶泰勒展开。
• 将蒙特罗-斯瓦伊特尔加速框架推广至高阶光滑性，采用类似动量的更新策略，通过序列 $a_k$、$A_k$ 和 $\widetilde{x}_k$ 驱动收敛。
• 引入一种线搜索机制以确定 $\lambda_{k+1}$，使得 $\frac{1}{2} \leq \lambda_{k+1} \frac{L_p \|y_{k+1} - \widetilde{x}_k\|^{p-1}}{(p-1)!} \leq \frac{p}{p+1}$，确保每一步均有充分进展。
• 采用在离散化区间上的二分查找策略以寻找合适的 $\lambda_{k+1}$，每轮迭代的复杂度被限制为 $30p\log_2 p + \log_2\left\lceil \frac{L_p \|x^*\|^{p+1}}{\varepsilon} \right\rceil$ 次预言机调用。
• 利用一种改进的误差界，结合类似 $\sigma$-强凸性的条件，控制迭代点与最优解之间的距离，从而实现紧致的收敛性分析。
• 证明了迭代点 $x_k$ 和 $y_k$ 始终分别位于 $\|x^*\|$ 和 $4\|x^*\|$ 的范围内，确保迭代点有界且稳定。

实验结果

研究问题

• RQ1 能否将光滑凸优化中经典的加速现象推广至高阶光滑性（$p \geq 2$）情形，并实现最优速率？
• RQ2 使用 $p$-阶泰勒预言机时，$p$-阶光滑凸函数可实现的最优收敛速率是多少？
• RQ3 如何高效实现高阶加速中的线搜索步骤，同时控制预言机查询次数？
• RQ4 能否以一种方式界定线搜索的复杂度，从而在整体上保持 $\widetilde{O}(1/k^{(3p+1)/2})$ 的收敛速率？
• RQ5 是否可能通过一种实际且可实施的算法，实现与 $p$-阶光滑性下界完全匹配的收敛速率？

主要发现

• ATD 对任意 $p$-阶导数为 $L_p$--Lipschitz 的凸函数，实现了 $O(1/k^{\frac{3p+1}{2}})$ 的收敛速率，与该设置下最优已知下界完全一致。
• 该方法在 $p > 1$ 时优于先前工作的 $O(1/k^{p+1})$ 速率，并与早期研究中针对 $p=2$ 建立的 $O(1/k^{\frac{7}{2}})$ 速率完全匹配。
• ATD 的每轮迭代仅需 $\widetilde{O}(1)$ 次 $p$-阶泰勒预言机调用，具体最多为 $30p\log_2 p + \log_2\left\lceil \frac{L_p \|x^*\|^{p+1}}{\varepsilon} \right\rceil$ 次调用/轮次。
• 该算法确保对所有 $k$ 都有 $\|x_k - x^*\| \leq \|x^*\|$ 且 $\|y_k - x^*\| \leq 4\|x^*\|$，保证了迭代点有界。
• 分析给出了一个紧致的误差界：$f(y_k) - f(x^*) \leq \frac{c_p \cdot L_p \cdot \|x^*\|^{p+1}}{k^{\frac{3p+1}{2}}}$，其中 $c_p = 2^{p-1}(p+1)^{\frac{3p+1}{2}} / (p-1)!$。
• 通过二分查找与利普希茨连续性论证，对线搜索复杂度进行了严格界定，确保每轮迭代的总预言机成本在所需精度 $\varepsilon$ 的对数尺度内。