[论文解读] The Quantum Version Of Classification Decision Tree Constructing Algorithm C5.0

Kamil Khadiev, Ilnaz Mannapov+1 more|arXiv (Cornell University)|Jul 16, 2019

Quantum Computing Algorithms and ArchitectureComputer Science参考文献 22被引用 18

一句话总结

本文提出了一种量子增强版的C5.0决策树算法，利用幅度放大和Dürr-Høyer最小值搜索等量子子程序实现加速。通过使用自平衡二叉搜索树改进经典C5.0算法，并提出一种量子版本（QC5.0），其运行时间为 $ O(h\sqrt{d}\log d \cdot N\log N) $，在属性数量上实现了接近二次方的加速。

ABSTRACT

In the paper, we focus on complexity of C5.0 algorithm for constructing decision tree classifier that is the models for the classification problem from machine learning. In classical case the decision tree is constructed in $O(hd(NM+N \log N))$ running time, where $M$ is a number of classes, $N$ is the size of a training data set, $d$ is a number of attributes of each element, $h$ is a tree height. Firstly, we improved the classical version, the running time of the new version is $O(h\cdot d\cdot N\log N)$. Secondly, we suggest a quantum version of this algorithm, which uses quantum subroutines like the amplitude amplification and the D{ü}rr-Høyer minimum search algorithms that are based on Grover's algorithm. The running time of the quantum algorithm is $O\big(h\cdot \sqrt{d}\log d \cdot N \log N\big)$ that is better than complexity of the classical algorithm.

研究动机与目标

• 通过使用自平衡二叉搜索树减少时间复杂度，优化经典C5.0算法的效率。
• 开发一种利用量子子程序实现更快计算的C5.0算法量子版本。
• 在大规模分类问题中实现构建决策树的显著加速。
• 展示量子机器学习在决策树构建中的可行性与性能提升。

提出的方法

• 用自平衡二叉搜索树（如AVL树或红黑树）替代经典数据结构，以优化属性值跟踪并减少排序开销。
• 使用Dürr-Høyer量子算法进行最小值搜索，以加速决策树中最佳分裂属性的选择。
• 应用幅度放大技术，以增强在叠加态中找到最佳信息增益比的属性的概率。
• 将量子子程序集成到混合经典-量子框架中，其中量子程序负责属性选择，经典逻辑负责树的构建。
• 重复量子最大值查找过程 $ \log d $ 次，以降低错误概率并提高分裂选择的可靠性。
• 采用查询模型，量子算法通过黑箱预言机访问训练数据，运行时间以查询次数衡量。

实验结果

研究问题

• RQ1 能否通过使用自平衡二叉搜索树优化经典C5.0算法，以降低时间复杂度？
• RQ2 能否有效将量子算法应用于决策树构建中的属性选择阶段？
• RQ3 与经典版本相比，量子增强版C5.0算法的理论运行时间改善程度如何？
• RQ4 量子属性选择的成功概率如何随树中内部节点数量变化？
• RQ5 量子版本能否在属性数量上实现接近二次方的加速？

主要发现

• 使用自平衡二叉搜索树优化的经典C5.0算法，其运行时间为 $ O(h d N \log N) $，通过消除冗余排序步骤降低了原始复杂度。
• 量子版本QC5.0的运行时间为 $ O(h \sqrt{d} \log d \cdot N \log N) $，在属性数量 $ d $ 上实现了接近二次方的加速。
• QC5.0的成功概率为 $ O\big{(}(1 - \frac{1}{d})^k\big{)} $，其中 $ k $ 为内部节点数量，表明在重复 $ \log d $ 次后具有高可靠性。
• 通过结合幅度放大和Dürr-Høyer的最小值查找算法，实现了量子加速，高效识别最佳分裂属性。
• 量子子程序将属性选择步骤的时间复杂度从 $ O(d) $ 降低至 $ O(\sqrt{d}) $，在大规模数据集上带来整体性能提升。
• 理论分析证实，QC5.0在高维数据场景下相对于经典C5.0具有显著的渐近性能改进。