[论文解读] Parallelization does not Accelerate Convex Optimization: Adaptivity Lower Bounds for Non-smooth Convex Minimization

Eric Balkanski, Yaron Singer|arXiv (Cornell University)|Aug 12, 2018

Complexity and Algorithms in Graphs参考文献 44被引用 14

一句话总结

本文证明了在最坏情况下，并行化无法加速非光滑凸优化。它建立了紧致的自适应性下界，表明即使每轮执行多项式数量的查询，任何随机算法在单位欧几里得球上的Lipschitz函数和强凸函数上，其收敛速率也无法优于串行方法。

ABSTRACT

In this paper we study the limitations of parallelization in convex optimization. A convenient approach to study parallelization is through the prism of \emph{adaptivity} which is an information theoretic measure of the parallel runtime of an algorithm [BS18]. Informally, adaptivity is the number of sequential rounds an algorithm needs to make when it can execute polynomially-many queries in parallel at every round. For combinatorial optimization with black-box oracle access, the study of adaptivity has recently led to exponential accelerations in parallel runtime and the natural question is whether dramatic accelerations are achievable for convex optimization. For the problem of minimizing a non-smooth convex function $f:[0,1]^n o \mathbb{R}$ over the unit Euclidean ball, we give a tight lower bound that shows that even when $ exttt{poly}(n)$ queries can be executed in parallel, there is no randomized algorithm with $ ilde{o}(n^{1/3})$ rounds of adaptivity that has convergence rate that is better than those achievable with a one-query-per-round algorithm. A similar lower bound was obtained by Nemirovski [Nem94], however that result holds for the $\ell_{\infty}$-setting instead of $\ell_2$. In addition, we also show a tight lower bound that holds for Lipschitz and strongly convex functions. At the time of writing this manuscript we were not aware of Nemirovski's result. The construction we use is similar to the one in [Nem94], though our analysis is different. Due to the close relationship between this work and [Nem94], we view the research contribution of this manuscript limited and it should serve as an instructful approach to understanding lower bounds for parallel optimization.

研究动机与目标

• 研究并行化是否能够加速凸优化，特别是在非光滑和强凸函数的背景下。
• 通过自适应性作为并行运行时间的度量，建立并行化可实现加速的理论极限。
• 通过提供强凸和Lipschitz函数在适应性轮次上的ε-最优性间隙的紧致下界，填补理解上的空白。
• 证明现有的组合优化中的并行加速技术在标准假设下无法推广到凸优化。

提出的方法

• 构建一族参数化为自适应级别 $r$ 的凸函数 $\mathcal{F}_r^\lambda$，使其对任何 $r$-自适应算法不可区分。
• 使用带有 $\ell_2$-正则化的困难实例函数 $f_{\mathbf{y}}$ 的平滑版本，以确保强凸性并控制次梯度范数。
• 应用信息论论证，基于自适应轮次数 $r$ 限制期望最优性间隙。
• 采用间隙不可区分性论证，表明任何 $r$-自适应算法都无法以高概率区分该族中的两个函数。
• 利用域的 $\ell_2$-直径和Lipschitz常数 $G$ 推导最优性间隙的下界。
• 通过调节正则化参数 $\lambda$、域直径 $D$ 和Lipschitz常数之间的关系，控制次梯度范数，确保 $\|\mathbf{g}\|^2 \leq G^2$。

实验结果

研究问题

• RQ1 在每轮执行 $\operatorname{poly}(n)$ 次查询的情况下，并行化能否在非光滑凸优化中实现比串行方法更快的收敛速率？
• RQ2 在最小化Lipschitz和强凸函数时，达到给定精度所需的自适应轮次的理论极限是什么？
• RQ3 即使并行查询数量充足，是否存在并行与串行算法在凸优化中性能的可证明差距？
• RQ4 在非光滑、强凸设置下，算法的自适应性与其收敛速率有何关系？
• RQ5 现有的组合优化技术（如子模最大化）能否在并行计算模型下推广到凸最小化？

主要发现

• 对于任意 $r$-自适应随机算法，存在 $\mathcal{F}_r^\lambda$ 中的一个强凸且Lipschitz函数，使得最优性间隙以概率 $\omega(1/n)$ 至少为 $GD \left( \frac{1}{2\sqrt{r+1}} - \frac{(r+1/2)\log n}{\sqrt{n}} \right)$。
• 当 $r \in o(n^{1/3}/\log n)$ 时，最优性间隙为 $\Omega\left( \frac{GD}{\sqrt{r}} \right)$，与串行次梯度方法的收敛速率一致。
• 即使每轮并行执行 $\operatorname{poly}(n)$ 次查询，该下界依然成立，表明并行化不存在渐近加速。
• 所构造的函数族确保所有次梯度的范数平方至多为 $G^2$，满足Lipschitz条件。
• 该下界在低阶项范围内是紧致的，表明任何 $r$-自适应算法在收敛速率上都无法优于标准串行方法。
• 该结果适用于 $\ell_2$-范数设置，与Nemirovski早期在 $\ell_\infty$-范数设置下的结果形成对比，填补了文献中的空白。