[论文解读] Quantum Speedup in Adaptive Boosting of Binary Classification

Ximing Wang, Yuechi Ma+2 more|arXiv (Cornell University)|Feb 3, 2019

Quantum Computing Algorithms and Architecture被引用 5

一句话总结

该论文提出了一种量子算法，通过利用量子相位估计算法和幅度放大技术，在二分类自适应提升（AdaBoost）中实现了查询复杂度的二次加速。该算法将AdaBoost推广至概率性弱分类器，并证明即使弱学习器输出概率预测，量子加速依然可实现，查询复杂度从经典情况下的O(N T)降低为O(√N T²)，其中N为训练样本数，T为迭代次数。

ABSTRACT

In classical machine learning, a set of weak classifiers can be adaptively combined to form a strong classifier for improving the overall performance, a technique called adaptive boosting (or AdaBoost). However, constructing the strong classifier for a large data set is typically resource consuming. Here we propose a quantum extension of AdaBoost, demonstrating a quantum algorithm that can output the optimal strong classifier with a quadratic speedup in the number of queries of the weak classifiers. Our results also include a generalization of the standard AdaBoost to the cases where the output of each classifier may be probabilistic even for the same input. We prove that the update rules and the query complexity of the non-deterministic classifiers are the same as those of deterministic classifiers, which may be of independent interest to the classical machine-learning community. Furthermore, the AdaBoost algorithm can also be applied to data encoded in the form of quantum states; we show how the training set can be simplified by using the tools of t-design. Our approach describes a model of quantum machine learning where quantum speedup is achieved in finding the optimal classifier, which can then be applied for classical machine-learning applications.

研究动机与目标

• 开发一种量子算法，实现经典AdaBoost在二分类中查询复杂度的二次加速。
• 将AdaBoost推广至弱分类器对同一输入输出概率性结果的情形。
• 证明更新规则和查询复杂度在概率性分类器下保持不变，从而保留经典算法的结构。
• 展示通过t-设计对训练数据进行量子态编码可实现简化，降低训练复杂度。
• 建立一个量子机器学习框架，实现在经典应用中寻找最优分类器的量子加速。

提出的方法

• 该算法利用幅度放大和相位估计算法，在叠加态中估计弱分类器的误差率，从而实现更快收敛。
• 构造酉操作 G_t U_⊥ G_t† Z，使态演化为 |cos((2k+1)θ_t)|φ_0⟩|0⟩ + |sin((2k+1)θ_t)|φ_1⟩|1⟩，实现对θ_t的相位估计。
• 每次迭代的查询复杂度为 O(ĉ/ε * t)，其中 ĉ 为归一化因子，ε 为目标精度。
• 该算法执行 T 次迭代，每次测量后需重新初始化，总查询复杂度为 O(ĉ/ε * T²)。
• 利用 t-设计可简化对训练数据的量子态编码，降低状态制备的开销。
• 该方法确保概率性弱分类器不改变更新规则或查询复杂度，与经典AdaBoost保持一致。

实验结果

研究问题

• RQ1 量子算法能否在二分类自适应提升中实现查询复杂度的二次加速？
• RQ2 将AdaBoost推广至概率性弱分类器时，是否保持与确定性情形相同的查询复杂度和更新规则？
• RQ3 能否利用t-设计简化对训练数据的量子态编码，从而降低资源开销？
• RQ4 误差率估计的精度与量子AdaBoost算法中所需查询次数之间有何关系？
• RQ5 当应用于大规模真实世界机器学习问题时，量子AdaBoost算法是否具有可扩展性和有效性？

主要发现

• 量子AdaBoost算法在查询复杂度上实现了二次加速，复杂度为 O(√N T²)，而经典AdaBoost为 O(N T)，其中 N 为训练样本数，T 为迭代次数。
• 估计每个弱分类器误差率的查询复杂度为 O(ĉ/ε)，其中 ĉ = ∏_{t=1}^T max{1/(2˜R_t), 1/(2(1−˜R_t))}，˜R_t 为第 t 次迭代的误差率。
• 该算法对概率性弱分类器与对确定性分类器保持相同的更新规则和查询复杂度，该结果对经典机器学习亦具独立兴趣。
• 通过相位估计算法估计 θ_t，使得 |θ_t − ˆθ_t| ≤ δ，其中 δ = O(ε/ĉ)，从而确保误差率估计 ˜R_t 的误差被限制在 ε 以内。
• 总查询复杂度为 O(ĉ/ε * T²)，当 ĉ 较大且 T 较小时，相比经典算法的 O(ĉ²/ε² * T) 实现了二次加速。
• 利用 t-设计可实现训练数据到量子态的高效编码，简化状态制备过程，降低开销。