[论文解读] Quantum Perceptron Models

Nathan Wiebe, Ashish Kapoor+1 more|arXiv (Cornell University)|Feb 15, 2016

Neural Networks and Applications参考文献 23被引用 37

一句话总结

该论文提出了两种量子算法，显著提升了感知机学习的计算效率和统计效率。第一种算法利用量子振幅放大，在 $O(\sqrt{N})$ 步内找到一个分离超平面，其复杂度在数据点数量 $N$ 上为次线性。第二种算法通过在版本空间框架中利用量子振幅估计，将经典错误界限从 $O(1/\gamma^2)$ 改进为 $O(1/\sqrt{\gamma})$，在复杂度和泛化误差缩放上均实现了二次加速。

ABSTRACT

We demonstrate how quantum computation can provide non-trivial improvements in the computational and statistical complexity of the perceptron model. We develop two quantum algorithms for perceptron learning. The first algorithm exploits quantum information processing to determine a separating hyperplane using a number of steps sublinear in the number of data points $N$, namely $O(\sqrt{N})$. The second algorithm illustrates how the classical mistake bound of $O(\frac{1}{γ^2})$ can be further improved to $O(\frac{1}{\sqrtγ})$ through quantum means, where $γ$ denotes the margin. Such improvements are achieved through the application of quantum amplitude amplification to the version space interpretation of the perceptron model.

研究动机与目标

• 开发超越经典感知机训练在计算和统计效率方面的量子算法。
• 探索量子计算是否能够使感知机训练的缩放性能超越经典子程序的限制。
• 证明量子加速不仅体现在计算上，也体现在泛化性能上，通过一种新颖的版本空间解释。
• 与经典界相比，实现数据点依赖性 ($O(\sqrt{N})$) 和边界依赖性 ($O(1/\sqrt{\gamma})$) 的双重二次改进。

提出的方法

• 第一种算法使用格罗弗搜索结合振幅放大，在 $O(\sqrt{N})$ 次查询内找到一个被错误分类的数据点，将训练复杂度从 $O(N)$ 降低。
• 第二种算法将量子振幅估计应用于版本空间，其中超平面被表示为量子态，数据约束定义了可行区域。
• 它利用版本空间的结构，放大识别出低误差超平面的概率，从而改善泛化性能。
• 该算法使用迭代式格罗弗型放大，并结合指数搜索启发式方法，当存在错误时，实现 $O(1/\sqrt{N})$ 的查询复杂度。
• 通过 $O(\sqrt{N} \log(1/\delta))$ 次查询，将成功概率提升至 $1 - \epsilon\gamma^2$，其中 $\delta = \epsilon\gamma^2$。
• 该方法结合了标记错误分类向量的量子预言机 $F_w$ 和一个受控酉操作 $U^c$，以提取用于感知机更新的古典索引。

实验结果

研究问题

• RQ1 量子计算能否将感知机训练所需的数据点数量减少到经典 $O(N)$ 边界以下？
• RQ2 量子算法能否改进感知机学习中经典的 $O(1/\gamma^2)$ 错误界限？
• RQ3 感知机的版本空间解释是否能为泛化性能带来新的量子加速？
• RQ4 振幅放大能否在量子设置下被有效应用于感知机寻找分离超平面的搜索？

主要发现

• 第一种量子感知机算法在寻找分离超平面时实现 $O(\sqrt{N})$ 的查询复杂度，相较于经典 $O(N)$ 实现了二次加速。
• 第二种算法将错误界限从 $O(1/\gamma^2)$ 改进为 $O(1/\sqrt{\gamma})$，在边界依赖性上实现了二次改进。
• 用于版本空间的量子算法利用振幅估计，以至少 $1 - \epsilon\gamma^2$ 的成功概率完成，查询次数为 $O(\sqrt{N} \log(1/\epsilon\gamma^2))$。
• 当仅存在一个被错误分类的向量时，该算法在 $O(1/\sqrt{N})$ 次查询后，成功概率至少为 $1/4$，并使用指数搜索启发式方法。
• 该方法确保在 $k$ 次重复中未能检测到标记态的概率至多为 $(3/4)^k$，因此为达到期望置信度，需进行 $k = \lceil \log_{3/4}(\delta) \rceil$ 次迭代。
• 该算法能正确识别出不存在错误的情况，从而得出已找到分离超平面的结论，且具有相同的查询复杂度上界。