[论文解读] Quantum-Inspired Support Vector Machine

Chen Ding, Tian-Yi Bao+1 more|arXiv (Cornell University)|Jun 21, 2019

Quantum Computing Algorithms and Architecture参考文献 33被引用 18

一句话总结

该论文提出了一种受量子启发的经典最小二乘支持向量机（LS-SVM）算法，对于低秩、低条件数、高维数据，其运行时间在数据维度和样本数量上均呈对数关系。通过利用间接采样和近似矩阵分解，该方法在不依赖量子硬件的情况下，实现了与原始量子SVM算法相当的指数级加速。

ABSTRACT

Support vector machine (SVM) is a particularly powerful and flexible supervised learning model that analyzes data for both classification and regression, whose usual algorithm complexity scales polynomially with the dimension of data space and the number of data points. To tackle the big data challenge, a quantum SVM algorithm was proposed, which is claimed to achieve exponential speedup for least squares SVM (LS-SVM). Here, inspired by the quantum SVM algorithm, we present a quantum-inspired classical algorithm for LS-SVM. In our approach, a improved fast sampling technique, namely indirect sampling, is proposed for sampling the kernel matrix and classifying. We first consider the LS-SVM with a linear kernel, and then discuss the generalization of our method to non-linear kernels. Theoretical analysis shows our algorithm can make classification with arbitrary success probability in logarithmic runtime of both the dimension of data space and the number of data points for low rank, low condition number and high dimensional data matrix, matching the runtime of the quantum SVM.

研究动机与目标

• 通过实现量子SVM算法的去量化，弥合经典机器学习与量子机器学习之间的差距。
• 仅使用经典计算，在大规模高维数据集上实现分类任务的指数级加速。
• 开发一种实用的经典SVM替代方案，使其在现实条件下达到与量子SVM相当的理论性能。
• 通过引入具有可证明保证的基于采样的经典方法，降低量子算法的严苛要求。
• 在低秩和低条件数假设下，实现相对于数据维度和样本数量的对数时间高效LS-SVM分类。

提出的方法

• 提出一种间接采样技术，以高效地从核矩阵和数据向量中采样，从而实现对核矩阵的快速近似。
• 采用有根树形数据结构，支持通过索引和范数实现对数据向量的对数时间随机采样。
• 通过分层采样数据点及其范数，构建一个更小且具代表性的数据集，以降低计算负载。
• 对采样的核矩阵应用近似奇异值分解（SVD），以提取低秩近似。
• 利用近似核矩阵求解LS-SVM优化问题，确保分类结果具有任意的成功概率。
• 使用矩阵集中不等式和误差分析，保证近似误差始终在用户定义的阈值范围内。

实验结果

研究问题

• RQ1 在相似条件下，经典算法能否实现与量子SVM算法在LS-SVM上相同的渐近运行时间？
• RQ2 何种经典采样策略可在无量子资源的情况下，实现对核矩阵的高效近似？
• RQ3 如何在保持分类准确性的前提下，对核矩阵近似中的误差进行有界控制？
• RQ4 在实际应用中，运行时间能在多大程度上实现对数据维度和样本数量的对数依赖？
• RQ5 对于具有低秩和低条件数结构的真实世界数据集，去量化的经典算法能否在渐近复杂度上匹配量子版本的指数级加速？

主要发现

• 所提出的受量子启发的LS-SVM算法在低秩、低条件数、高维矩阵下，其运行时间在数据维度和样本数量上均为对数关系。
• 该算法可保证任意成功概率的分类性能，与量子SVM的理论性能完全匹配。
• 间接采样技术实现了对核矩阵的高效且精确的近似，且误差有界。
• 理论分析表明，近似误差受数据矩阵谱性质的控制，其上界与条件数和Frobenius范数成正比。
• 该方法在渐近复杂度上与量子SVM算法的指数级加速效果相当，且无需依赖量子硬件。
• 通过人工构建的低秩数据集进行的实证验证，证实了该方法在理论假设下的可行性与可扩展性。