[论文解读] No Quantum Speedup over Gradient Descent for Non-Smooth Convex Optimization

Ankit Garg, Robin Kothari+2 more|arXiv (Cornell University)|Oct 5, 2020

Quantum Computing Algorithms and Architecture参考文献 25被引用 1

一句话总结

本文证明，在黑箱一阶凸优化中，对于非光滑函数，任何量子算法都无法在无额外函数假设的维度无关情形下，实现对经典梯度下降的加速，即使拥有对函数和次梯度的量子查询访问。尽管存在一个量子算法可在 O(GR/ϵ) 次查询内解决某一特定困难实例，作者仍证明了紧致的 Ω((GR/ϵ)²) 量子查询下界，表明在无额外函数结构假设的维度无关情形下，不存在普遍的量子优势。

ABSTRACT

We study the first-order convex optimization problem, where we have black-box access to a (not necessarily smooth) function $f:\mathbb{R}^n o \mathbb{R}$ and its (sub)gradient. Our goal is to find an $ε$-approximate minimum of $f$ starting from a point that is distance at most $R$ from the true minimum. If $f$ is $G$-Lipschitz, then the classic gradient descent algorithm solves this problem with $O((GR/ε)^{2})$ queries. Importantly, the number of queries is independent of the dimension $n$ and gradient descent is optimal in this regard: No deterministic or randomized algorithm can achieve better complexity that is still independent of the dimension $n$. In this paper we reprove the randomized lower bound of $Ω((GR/ε)^{2})$ using a simpler argument than previous lower bounds. We then show that although the function family used in the lower bound is hard for randomized algorithms, it can be solved using $O(GR/ε)$ quantum queries. We then show an improved lower bound against quantum algorithms using a different set of instances and establish our main result that in general even quantum algorithms need $Ω((GR/ε)^2)$ queries to solve the problem. Hence there is no quantum speedup over gradient descent for black-box first-order convex optimization without further assumptions on the function family.

研究动机与目标

• 本文研究量子算法是否能在黑箱一阶凸优化中超越经典梯度下降。
• 重点研究 G-利普希茨连续梯度的非光滑凸函数，其中经典梯度下降的查询复杂度为 O((GR/ϵ)²)。
• 目标是确定量子算法能否打破这一经典复杂度界限。
• 作者旨在在缺乏额外函数结构的前提下，建立紧致的量子查询下界。
• 旨在弥合已知特定实例上的量子加速与该黑箱模型中普遍不存在量子优势之间的差距。

提出的方法

• 作者使用比以往工作更简单的论证，重新证明了经典的随机化下界 Ω((GR/ϵ)²)。
• 构造了一类特定的非光滑凸函数，这些函数对随机算法困难，但可在 O(GR/ϵ) 次量子查询内求解。
• 通过使用另一组函数实例，建立了新的量子下界，表明量子算法同样需要 Ω((GR/ϵ)²) 次查询。
• 证明利用了高维球内随机向量的概率论论证和集中不等式，以限制成功优化的可能性。
• 分析利用了次梯度预言机和最大线性函数的性质，以建模函数类 fV(x) = max_i ⟨vi, x⟩。
• 通过展示任何少于 k 次查询的算法无法以高概率区分不同函数实例，结合混合论证和随机向量投影的并集界，推导出量子下界。

实验结果

研究问题

• RQ1 在黑箱一阶模型中，量子算法能否为非光滑凸优化提供超越经典梯度下降的加速？
• RQ2 是否存在一类函数，使得量子算法在此设置下能实现对经典方法的可证明加速？
• RQ3 能否使用更简单的函数类（如 fV(x) = max_i ⟨vi, x⟩ 且 γ = 0）建立量子下界？
• RQ4 在梯度下降被其他经典方法超越的维度相关情形下，最紧致的量子查询复杂度下界是什么？
• RQ5 在其他凸优化设置中，如光滑函数或邻近预言机模型中，量子算法是否具有任何优势？

主要发现

• 经典梯度下降算法在最小化 G-利普希茨连续的非光滑凸函数时，达到 O((GR/ϵ)²) 的查询复杂度。
• 使用比先前工作更简单的论证，重新证明了 Ω((GR/ϵ)²) 的随机化下界。
• 在随机化下界中使用的特定函数族，可在 O(GR/ϵ) 次量子查询内求解，表明该实例上存在潜在的量子加速。
• 然而，作者通过使用另一组函数族，建立了新的 Ω((GR/ϵ)²) 量子下界，证明不存在普遍的量子优势。
• 该结果意味着，在黑箱一阶模型中，量子算法无法在非光滑凸优化中超越经典梯度下降。
• 本文弥合了已知特定实例上的量子加速与该设置下普遍不存在量子优势之间的差距。