[论文解读] Quantum-Assisted Support Vector Regression

Archismita Dalal, Mohsen Bagherimehrab+1 more|arXiv (Cornell University)|Nov 17, 2021

Quantum Information and Cryptography被引用 4

一句话总结

该论文提出了一种使用 D-Wave 量子-经典混合求解器的量子辅助支持向量回归（SVR）模型，以提升小样本数据集上的面部关键点检测精度。通过将 SVR 训练问题表述为无约束二次二值优化（QUBO）问题，并利用量子退火求解，该方法在检测精度上略有提升，且方差显著低于经典 SVR 和最先进基线方法，证明了在监督学习中实现量子增强回归的可行性。

ABSTRACT

A popular machine-learning model for regression tasks, including stock-market prediction, weather forecasting and real-estate pricing, is the classical support vector regression (SVR). However, a practically realisable quantum SVR remains to be formulated. We devise annealing-based algorithms, namely simulated and quantum-classical hybrid, for training two SVR models and compare their empirical performances against the SVR implementation of Python's scikit-learn package for facial-landmark detection (FLD), a particular use case for SVR. Our method is to derive a quadratic-unconstrained-binary formulation for the optimisation problem used for training a SVR model and solve this problem using annealing. Using D-Wave's hybrid solver, we construct a quantum-assisted SVR model, thereby demonstrating a slight advantage over classical models regarding FLD accuracy. Furthermore, we observe that annealing-based SVR models predict landmarks with lower variances compared to the SVR models trained by gradient-based methods. Our work is a proof-of-concept example for applying quantum-assisted SVR to a supervised-learning task with a small training dataset.

研究动机与目标

• 开发一种使用量子退火的量子辅助 SVR 模型，用于训练数据有限的监督学习任务。
• 评估基于量子退火的 SVR 在面部关键点检测任务中相对于经典 SVR 和最先进 FLD 算法的性能表现。
• 探究在回归模型中，量子退火是否能实现比经典贪婪优化更低的预测方差和更高的精度。
• 展示一种适用于当前量子退火硬件实现的 SVR 训练问题的 QUBO 表述方式。
• 探索在小样本数据集上，量子辅助机器学习在现实世界计算机视觉任务中的可行性。

提出的方法

• 将 SVR 训练问题重新表述为无约束二次二值优化（QUBO）问题，以支持通过量子退火求解。
• 将多输出面部关键点检测任务分解为多个单输出回归问题，每个问题由独立的 SVR 模型进行训练。
• 同时使用经典模拟退火和 D-Wave 的量子-经典混合退火求解器求解 QUBO 表述。
• 通过平均 20 个通过退火生成的可行解的预测结果，获得最终的关键点预测，从而降低方差。
• 在包含 100 幅无约束人脸图像的小型数据集上进行模型训练与测试，性能在 LFPW 和 BioID 基准数据集上进行评估。
• QUBO 表述源自 ε-SVR 优化问题的拉格朗日对偶形式，可映射为 D-Wave 退火器可求解的自旋玻璃问题。

Figure 1: Two slack variables $\xi^{+}$ and $\xi^{-}$ are used in an $\varepsilon$ -SVR formulation. Red circles are data points. (left) $\xi^{+}=0$ if the corresponding training data point is below the upper bound and $\xi^{+}>0$ if it is above the upper bound, (right) $\xi^{-}=0$ if the correspond

实验结果

研究问题

• RQ1 量子退火能否提升小样本监督学习任务中支持向量回归的精度？
• RQ2 与经典贪婪优化相比，量子辅助 SVR 是否能降低回归模型中的预测方差？
• RQ3 基于量子退火的 SVR 模型在面部关键点检测任务中的性能，与经典 SVR 和最先进 FLD 算法相比如何？
• RQ4 当前的量子-经典混合求解器能否有效求解 SVR 训练问题的 QUBO 表述？
• RQ5 利用量子退火生成的近似最优解集合，对模型泛化能力和鲁棒性有何影响？

主要发现

• 与经典 SVR 和 BoRMaN 基线相比，量子辅助 SVR 模型在 LFPW 和 BioID 数据集上的关键点检测精度实现了轻微但可测量的提升。
• 基于退火的 SVR 模型产生的预测方差显著低于经典贪婪优化模型，这是由于拉格朗日函数的全局优化所致。
• 混合退火方法平均生成了 20 个可行解，显著降低了测试预测中平均归一化偏差误差（MNDE）的方差。
• SVR 训练问题的 QUBO 表述已成功在 D-Wave 的 Hybrid 求解器上实现并求解，验证了其在当前量子硬件上的可行性。
• 该方法证明，即使在训练数据有限的情况下，量子辅助优化也能提升回归性能，为监督学习中的量子机器学习提供了概念验证。
• 未来改进方向可能包括优化退火超参数、提高图像分割粒度，以及在更大设备上探索完全的量子退火工作流。

Figure 2: An example image from the LFW database [ 37 ] . Using data from Ref. [ 56 ] , we show the five landmarks with manually determined positions, labels 1–5, and the face box as a red rectangle.