[论文解读] Training a Binary Classifier with the Quantum Adiabatic Algorithm

Hartmut Neven, Vasil S. Denchev+2 more|ArXiv.org|Nov 4, 2008

Quantum Computing Algorithms and Architecture参考文献 10被引用 71

一句话总结

本文通过将权重优化问题表述为二元二次规划，提出使用量子绝热算法训练二元分类器，实现向D-Wave量子退火硬件的映射。结果表明，比特受限学习——以对数精度表示权重——可降低泛化误差，并在使用二次损失时优于AdaBoost，表明在NP难分类问题中存在潜在的量子优势。

ABSTRACT

This paper describes how to make the problem of binary classification amenable to quantum computing. A formulation is employed in which the binary classifier is constructed as a thresholded linear superposition of a set of weak classifiers. The weights in the superposition are optimized in a learning process that strives to minimize the training error as well as the number of weak classifiers used. No efficient solution to this problem is known. To bring it into a format that allows the application of adiabatic quantum computing (AQC), we first show that the bit-precision with which the weights need to be represented only grows logarithmically with the ratio of the number of training examples to the number of weak classifiers. This allows to effectively formulate the training process as a binary optimization problem. Solving it with heuristic solvers such as tabu search, we find that the resulting classifier outperforms a widely used state-of-the-art method, AdaBoost, on a variety of benchmark problems. Moreover, we discovered the interesting fact that bit-constrained learning machines often exhibit lower generalization error rates. Changing the loss function that measures the training error from 0-1 loss to least squares maps the training to quadratic unconstrained binary optimization. This corresponds to the format required by D-Wave's implementation of AQC. Simulations with heuristic solvers again yield results better than those obtained with boosting approaches. Since the resulting quadratic binary program is NP-hard, additional gains can be expected from applying the actual quantum processor.

研究动机与目标

• 通过将优化问题重新表述为二元规划，将二元分类训练适配至量子绝热计算。
• 研究比特受限权重表示是否能提升机器学习模型的泛化性能。
• 比较基于量子启发启发式方法的全局优化与AdaBoost等贪心方法的性能。
• 通过将问题映射至无约束二元二次优化（QUBO），使绝热量子计算能够应用于NP难机器学习问题。
• 探讨低精度权重表示对量子机器学习中模型紧凑性与泛化能力的影响。

提出的方法

• 分类器被建模为弱分类器的阈值线性组合，权重通过最小化结合0-1损失或最小二乘误差与0-范数正则化的正则化损失函数进行优化。
• 最优权重所需的比特精度随训练样本数与弱分类器数量之比的对数增长，从而实现有效的二元表示。
• 0-1损失的表述被映射为二元优化问题，而二次损失则直接映射为QUBO，与D-Wave的量子退火硬件兼容。
• 使用模拟退火和禁忌搜索等启发式求解器求解所得二元规划，以模拟量子优化性能。
• 通过将0-1损失替换为最小二乘损失，将问题重新表述为QUBO，与D-Wave量子处理器的本机输入格式对齐。
• 在合成数据和真实数据（人脸图像的Gabor小波特征）上测试该框架，并通过交叉验证评估泛化性能。

实验结果

研究问题

• RQ1 能否将稀疏高精度二元分类器的训练问题有效映射为可由绝热量子计算求解的形式？
• RQ2 降低权重比特精度是否能改善泛化误差？如果是，原因是什么？
• RQ3 基于量子启发启发式方法的全局优化与AdaBoost等贪心方法相比，在准确率和模型紧凑性方面表现如何？
• RQ4 在比特受限学习中，使用二次损失而非0-1损失在多大程度上提升了性能？
• RQ5 对于此类NP难分类问题，量子绝热计算是否能为经典启发式方法提供实际优势？

主要发现

• 以对数比特精度表示权重的比特受限学习机器，其泛化误差始终低于高精度版本。
• 采用二次损失（QUBO）的全局优化方法优于AdaBoost，在准确率仅高出约10%的情况下，使用的有效弱分类器数量减少50%以上。
• 在Gabor小波人脸数据集上，基于QUBO的方法降低了测试误差，同时使非零权重数量比AdaBoost减少了一半以上。
• 0-1损失的表述在不同比特深度下表现相似，但二次损失表述在全局优化下表现更优。
• 研究结果表明，比特受限模型作为一种内在正则化形式，有助于提升泛化能力和模型紧凑性。
• 结果表明，将二元分类器训练为整数规划问题可能比连续优化更有效，从而为加速此类NP难问题的量子计算提供了动力。