[论文解读] Sublinear quantum algorithms for training linear and kernel-based classifiers

Tongyang Li, Shouvanik Chakrabarti+1 more|arXiv (Cornell University)|Apr 4, 2019

Quantum Computing Algorithms and Architecture参考文献 40被引用 27

一句话总结

本文提出用于训练线性与基于核的分类器的次线性量子算法，运行时间为 $Õ(\sqrt{n} + \sqrt{d})$，相较于经典方法实现二次加速。算法采用标准的逐元素量子数据访问方式，输出为简洁的经典表示，确保混合量子-经典应用中开销最小。

ABSTRACT

We investigate quantum algorithms for classification, a fundamental problem in machine learning, with provable guarantees. Given $n$ $d$-dimensional data points, the state-of-the-art (and optimal) classical algorithm for training classifiers with constant margin runs in $ ilde{O}(n+d)$ time. We design sublinear quantum algorithms for the same task running in $ ilde{O}(\sqrt{n} +\sqrt{d})$ time, a quadratic improvement in both $n$ and $d$. Moreover, our algorithms use the standard quantization of the classical input and generate the same classical output, suggesting minimal overheads when used as subroutines for end-to-end applications. We also demonstrate a tight lower bound (up to poly-log factors) and discuss the possibility of implementation on near-term quantum machines. As a side result, we also give sublinear quantum algorithms for approximating the equilibria of $n$-dimensional matrix zero-sum games with optimal complexity $ ildeΘ(\sqrt{n})$.

研究动机与目标

• 设计用于训练线性与基于核的分类器的量子算法，实现在数据量 $n$ 和维度 $d$ 上的次线性运行时间。
• 确保量子算法使用标准的逐元素输入访问方式，并生成经典输出，从而最小化端到端应用中的开销。
• 建立紧致的量子下界，与上界仅相差多对数因子。
• 探索这些算法在近期待机量子设备上实现的可行性。

提出的方法

• 利用幅度放大与幅度估计算法，实现分类核心问题——最大最小问题的二次加速。
• 使用对数据条目的一致性量子查询访问，实现对索引 $i \in [n]$ 和 $j \in [d]$ 的叠加，以实现高效计算。
• 将线性与基于核的分类问题分别表述为最大最小问题：$\max_{w \in \mathbb{B}_d} \min_{i \in [n]} X_i^\top w$ 与 $\max_{w \in \mathbb{B}_d} \min_{i \in [n]} \langle \Psi(X_i), w \rangle$。
• 设计量子子程序，以近似最优分类器 $\bar{w}$，使得 $\min_i X_i^\top \bar{w} \geq \max_w \min_i X_i^\top w - \epsilon$。
• 通过约化至量子搜索问题，证明量子下界，表明解决分类与零和博弈问题至少需要 $\Omega(\sqrt{n} + \sqrt{d})$ 次查询。
• 将相同框架应用于近似求解 $n$ 维矩阵零和博弈中的均衡，实现 $\tilde{\Theta}(\sqrt{n})$ 的复杂度。

实验结果

研究问题

• RQ1 在标准输入模型下，量子算法能否在 $n$ 和 $d$ 上均实现线性分类器训练的次线性运行时间？
• RQ2 对于具有常数边距的核基分类器近似，最优量子复杂度是多少？
• RQ3 量子加速是否可由紧致下界匹配，从而确认所提算法的最优性？
• RQ4 与经典算法相比，量子设置下对误差参数 $\epsilon$ 的依赖关系如何变化？
• RQ5 该框架是否可扩展至分类与零和博弈之外的其他均衡问题？

主要发现

• 本文提出用于线性与基于核的分类的量子算法，运行时间为 $\tilde{O}(\sqrt{n} + \sqrt{d})$，相较于经典方法的 $\tilde{O}(n + d)$ 实现二次加速。
• 算法在多对数因子范围内最优，由匹配的 $\Omega(\sqrt{n} + \sqrt{d})$ 量子查询下界证明。
• 对于零和博弈，算法实现 $\tilde{O}(\sqrt{n}/\epsilon^4)$ 的复杂度，且存在匹配的 $\Omega(\sqrt{n})$ 下界。
• 量子算法使用标准的逐元素输入访问方式，并生成具有高效表示的经典输出，从而在混合应用中最小化开销。
• 量子算法中对 $\epsilon$ 的依赖关系劣于经典方法（$\epsilon^{-8}$ 对比 $\epsilon^{-2}$），表明在高精度任务中存在权衡。
• 该框架可推广至其他最大最小问题，包括博弈论中的均衡计算，对 $n$ 维零和博弈实现紧致的 $\tilde{\Theta}(\sqrt{n})$ 复杂度。