[论文解读] Quantum Algorithms and Lower Bounds for Linear Regression with Norm Constraints

Yanlin Chen, Ronald de Wolf|arXiv (Cornell University)|Oct 25, 2021

Quantum Computing Algorithms and Architecture参考文献 41被引用 4

一句话总结

本文提出了一种用于Lasso回归的量子算法，通过利用量子最小查找和振幅估计算法加速Frank-Wolfe方法，在维度d上相比经典方法实现了二次加速。该工作建立了量子下界Ω(√d/ε¹.⁵)，证明了Lasso问题迄今为止首个在polylog因子内紧致的类 classical 下界，同时表明Ridge回归在d上的量子加速仅限于线性量级。

ABSTRACT

Lasso and Ridge are important minimization problems in machine learning and statistics. They are versions of linear regression with squared loss where the vector $θ\in\mathbb{R}^d$ of coefficients is constrained in either $\ell_1$-norm (for Lasso) or in $\ell_2$-norm (for Ridge). We study the complexity of quantum algorithms for finding $\varepsilon$-minimizers for these minimization problems. We show that for Lasso we can get a quadratic quantum speedup in terms of $d$ by speeding up the cost-per-iteration of the Frank-Wolfe algorithm, while for Ridge the best quantum algorithms are linear in $d$, as are the best classical algorithms. As a byproduct of our quantum lower bound for Lasso, we also prove the first classical lower bound for Lasso that is tight up to polylog-factors.

研究动机与目标

• 研究带范数约束的Lasso与Ridge回归的量子复杂度。
• 确定量子算法是否能在这些基础机器学习问题上实现对经典方法的加速。
• 为Lasso建立紧致的量子与经典下界，解决关于ε与d依赖关系的开放问题。
• 开发一种量子算法，利用量子子程序降低Frank-Wolfe方法每轮迭代的代价。
• 证明Lasso的量子下界，该下界可推导出迄今为止首个在polylog因子内紧致的类经典下界。

提出的方法

• 以Frank-Wolfe算法为基础，通过梯度信息迭代更新系数向量，并在每轮中从2d个方向中选择最优方向。
• 应用量子最小查找算法，在每轮迭代中搜索2d个方向中下降最陡的方向。
• 采用量子振幅估计算法以可控误差近似梯度分量，从而实现对损失函数梯度的高效量子访问。
• 引入量子随机存取存储器（QRAM）模型，实现对输入数据点(xi, yi)的相干量子查询访问。
• 将Frank-Wolfe方法的每轮迭代代价从经典情况下的O(d)降低至量子情况下的O(√d)，同时保持O(1/ε)轮迭代。
• 通过约化至隐藏权重区分问题与对称集合查找问题，利用敌对方法与组合定理证明量子下界。

实验结果

研究问题

• RQ1 量子算法是否能在Lasso回归中实现超越经典方法的加速，特别是在维度d方面？
• RQ2 Lasso回归中寻找ε-最小化器的最优量子查询复杂度是多少？与经典界相比如何？
• RQ3 Ridge回归是否允许任何量子加速，还是其量子复杂度在渐近意义上与经典方法相同？
• RQ4 量子算法能否减少Frank-Wolfe的迭代次数，还是仅能降低每轮迭代的代价？
• RQ5 Lasso的类经典下界是否在polylog因子内紧致？量子技术能否帮助证明这一点？

主要发现

• Lasso的量子算法实现了Õ(√d/ε²)的时间复杂度，相比最佳经典算法Õ(d/ε²)在d上实现了二次加速。
• Lasso的量子下界为Ω(√d/ε¹.⁵)，这是首个能推导出在polylog因子内紧致的类经典下界Ω(d/ε²)的下界。
• 对于Ridge回归，最佳量子与经典算法均表现为Õ(d/ε²)，表明在d或ε方面均无量子加速。
• 本文证明了Lasso的类经典下界在polylog因子内是紧致的，解决了经典优化中的一个开放问题。
• 从对称集合查找问题到Ridge回归的约化，建立了Ridge的量子查询下界Ω(d/ε)，与经典界一致。
• 结果表明，凸优化中的量子加速高度依赖于具体问题：Lasso可通过降低每轮迭代代价实现量子加速，但Ridge无法实现。