[论文解读] Quantum Boosting

Srinivasan Arunachalam, Reevu Maity|arXiv (Cornell University)|Feb 12, 2020

Machine Learning and Algorithms被引用 5

一句话总结

该论文提出了一种量子提升算法，相较于经典AdaBoost在学习布尔概念类时实现了二次加速。通过利用量子振幅放大和相位估计算法，该算法将时间复杂度从 $\mathsf{VC}(\mathcal{C}) \cdot \operatorname{poly}(R(\mathcal{C}), 1/\gamma)$ 降低至 $\sqrt{\mathsf{VC}(\mathcal{C})} \cdot \operatorname{poly}(Q(\mathcal{C}), 1/\gamma)$，其中 $Q(\mathcal{C})$ 是弱量子学习器的时间复杂度。

ABSTRACT

Suppose we have a weak learning algorithm $\mathcal{A}$ for a Boolean-valued problem: $\mathcal{A}$ produces hypotheses whose bias $γ$ is small, only slightly better than random guessing (this could, for instance, be due to implementing $\mathcal{A}$ on a noisy device), can we boost the performance of $\mathcal{A}$ so that $\mathcal{A}$'s output is correct on $2/3$ of the inputs? Boosting is a technique that converts a weak and inaccurate machine learning algorithm into a strong accurate learning algorithm. The AdaBoost algorithm by Freund and Schapire (for which they were awarded the Gödel prize in 2003) is one of the widely used boosting algorithms, with many applications in theory and practice. Suppose we have a $γ$-weak learner for a Boolean concept class $C$ that takes time $R(C)$, then the time complexity of AdaBoost scales as $VC(C)\cdot poly(R(C), 1/γ)$, where $VC(C)$ is the $VC$-dimension of $C$. In this paper, we show how quantum techniques can improve the time complexity of classical AdaBoost. To this end, suppose we have a $γ$-weak quantum learner for a Boolean concept class $C$ that takes time $Q(C)$, we introduce a quantum boosting algorithm whose complexity scales as $\sqrt{VC(C)}\cdot poly(Q(C),1/γ);$ thereby achieving a quadratic quantum improvement over classical AdaBoost in terms of $VC(C)$.

研究动机与目标

• 解决在含噪声的中等规模量子（NISQ）设备上实现弱量子机器学习算法性能提升的挑战。
• 开发一种量子提升框架，将具有小偏差 $\gamma$ 的弱量子学习器转化为在输入上准确率达到 $2/3$ 的强学习器。
• 与经典AdaBoost相比，在时间复杂度上实现量子加速，特别是在依赖VC维 $\mathsf{VC}(\mathcal{C})$ 的方面。
• 确保量子提升算法在近期量子设备的现实假设下仍保持高效且可行。

提出的方法

• 使用时间复杂度为 $Q(\mathcal{C})$ 的量子弱学习器 $\mathcal{A}$，其输出的假设偏差 $\gamma$ 略高于随机水平。
• 应用振幅放大以增强量子态中正确预测的概率，从而提高弱学习器的有效准确率。
• 使用相位估计高精度估计每个假设 $h_t$ 的加权误差 $\widetilde{\varepsilon}_t$。
• 基于误差估计，使用量子控制旋转动态更新训练样本上的分布，类似于经典AdaBoost，但以叠加态形式实现。
• 集成一个子程序，利用量子搜索和振幅估计判断估计误差 $\varepsilon'_t$ 是否低于阈值。
• 通过加权多数投票法组合 $T = O(\log M / \gamma^2)$ 个假设，使用学习到的权重 $\alpha'_t$，形成最终的强假设 $H(x) = \mathrm{sign}(\sum_t \alpha'_t h_t(x))$。

实验结果

研究问题

• RQ1 是否可以利用量子技术将具有小偏差 $\gamma$ 的弱量子学习器性能提升至强学习准确率？
• RQ2 量子提升算法在依赖VC维 $\mathsf{VC}(\mathcal{C})$ 的方面是否能实现相对于经典AdaBoost的可证明加速？
• RQ3 能否在提升框架中有效结合量子振幅放大与相位估计以降低时间复杂度？
• RQ4 该量子提升算法是否对噪声具有鲁棒性，并且在量子比特相干时间有限、门保真度较低的近期量子设备上可行？
• RQ5 在量子提升设置中，迭代次数 $T$、误差估计精度与整体查询复杂度之间的最优权衡是什么？

主要发现

• 该量子提升算法的时间复杂度为 $\sqrt{\mathsf{VC}(\mathcal{C})} \cdot \operatorname{poly}(Q(\mathcal{C}), 1/\gamma)$，相较于经典AdaBoost的 $\mathsf{VC}(\mathcal{C}) \cdot \operatorname{poly}(R(\mathcal{C}), 1/\gamma)$ 实现了二次改进。
• 该算法利用振幅放大与相位估计高精度估计每个弱假设的误差，从而减少了所需查询次数。
• 对量子学习器和预言机的总查询次数被限制在 $O(\sqrt{M} Q^{3/2} T^3)$ 以内，其中 $M$ 为训练样本数，$T = O(\log M / \gamma^2)$。
• 该算法保持了对训练样本的分布，通过基于估计误差和假设置信度的量子控制旋转进行更新。
• 在子程序的“否”实例中，该算法确保 $\widetilde{\varepsilon} < 1/(Q T^2)$，有助于正确识别何时停止或调整提升过程。
• 最终假设 $H(x)$ 由 $T$ 个弱假设的带符号加权和构成，使用学习到的权重 $\alpha'_t$，在高概率下对至少 $2/3$ 的输入实现正确分类。