[论文解读] Quantum Sparse Support Vector Machines

Tomasz Arodź, Seyran Saeedi|arXiv (Cornell University)|Feb 5, 2019

Quantum Computing Algorithms and Architecture参考文献 59被引用 7

一句话总结

本文提出了一种量子稀疏支持向量机（QSVM），利用量子线性规划求解器来训练计算复杂度更低的稀疏线性分类器。它证明了任何依赖于训练样本黑箱访问的量子训练算法的最坏情况复杂度下界为 $Ω(m)$，但在稀疏模型能实现高准确率的现实场景中，实现了亚线性训练时间。

ABSTRACT

We analyze the computational complexity of Quantum Sparse Support Vector Machine, a linear classifier that minimizes the hinge loss and the $L_1$ norm of the feature weights vector and relies on a quantum linear programming solver instead of a classical solver. Sparse SVM leads to sparse models that use only a small fraction of the input features in making decisions, and is especially useful when the total number of features, $p$, approaches or exceeds the number of training samples, $m$. We prove a $\Omega(m)$ worst-case lower bound for computational complexity of any quantum training algorithm relying on black-box access to training samples; quantum sparse SVM has at least linear worst-case complexity. However, we prove that there are realistic scenarios in which a sparse linear classifier is expected to have high accuracy, and can be trained in sublinear time in terms of both the number of training samples and the number of features.

研究动机与目标

• 分析使用量子线性规划求解器的量子稀疏SVM的计算复杂度。
• 确定在现实设置中，量子算法是否能实现稀疏SVM的亚线性训练时间。
• 在对训练数据的黑箱访问条件下，建立量子训练复杂度的理论下界。
• 研究当 $p \gtrsim m$ 时，稀疏线性分类中是否存在量子优势的可行性。

提出的方法

• 使用量子线性规划求解器来最小化合页损失和特征权重的 $L_1$ 范数。
• 将稀疏SVM表述为带有 $L_1$ 正则化的凸优化问题，以诱导稀疏性。
• 通过训练样本的黑箱访问分析复杂度，将数据访问建模为量子预言机。
• 推导出任何量子训练算法在稀疏SVM上的最坏情况 $Ω(m)$ 复杂度下界。
• 考虑稀疏模型准确且量子加速可能产生的现实场景。
• 使用复杂性理论技术比较经典与量子训练复杂度。

实验结果

研究问题

• RQ1 量子算法能否在 $m$ 和 $p$ 的亚线性时间内训练稀疏SVM？
• RQ2 在对训练数据的黑箱访问下，量子训练在稀疏SVM上的最坏情况计算复杂度是多少？
• RQ3 在何种条件下，稀疏SVM既能实现高准确率，又能实现量子加速？
• RQ4 当 $p \gtrsim m$ 时，是否存在稀疏线性分类中可证明的量子优势？
• RQ5 在实践中，$L_1$-正则化合页损失公式与量子优化如何相互作用？

主要发现

• 本文建立了任何依赖于训练样本黑箱访问的量子训练算法在稀疏SVM上的最坏情况复杂度下界为 $Ω(m)$。
• 尽管存在该下界，但在某些现实场景中，稀疏线性分类器仍能实现高准确率。
• 在这些有利场景中，量子稀疏SVM可在 $m$ 和 $p$ 上实现亚线性时间训练。
• $L_1$-正则化确保了模型的稀疏性，使其在 $p \gtrsim m$ 时依然有效。
• 量子线性规划在这些条件下实现了高效的优化，可能带来量子加速。
• 结果表明，在特定且现实的数据条件下，稀疏分类中的量子优势在理论上是可能的。