[论文解读] Robust Classification with Adiabatic Quantum Optimization

Vasil S. Denchev, Nan Ding+2 more|arXiv (Cornell University)|May 5, 2012

Machine Learning and Algorithms参考文献 28被引用 25

一句话总结

本文提出 q-loss，一种非凸、硬件兼容的损失函数，适用于在标签噪声下进行鲁棒二值分类，其被表述为适合绝热量子优化（AQO）的二次无约束二值优化（QUBO）问题。使用经典启发式求解器作为量子硬件的代理，q-loss 在多个含噪声数据集上显著优于凸与非凸基线方法，展现出对标签噪声更强的鲁棒性。

ABSTRACT

We propose a non-convex training objective for robust binary classification of data sets in which label noise is present. The design is guided by the intention of solving the resulting problem by adiabatic quantum optimization. Two requirements are imposed by the engineering constraints of existing quantum hardware: training problems are formulated as quadratic unconstrained binary optimization; and model parameters are represented as binary expansions of low bit-depth. In the present work we validate this approach by using a heuristic classical solver as a stand-in for quantum hardware. Testing on several popular data sets and comparing with a number of existing losses we find substantial advantages in robustness as measured by test error under increasing label noise. Robustness is enabled by the non-convexity of our hardware-compatible loss function, which we name q-loss.

研究动机与目标

• 为解决凸损失函数在标签噪声下易导致决策边界被误导的已知局限性，即对标签噪声敏感的问题。
• 设计一种非凸损失函数，使其符合当前绝热量子优化（AQO）硬件的工程约束，特别是 QUBO 与低比特深度二值参数表示。
• 证明在存在标签噪声的情况下，与 AQO 兼容的非凸优化可实现优于凸方法的泛化性能。
• 通过使用经典求解器作为量子硬件代理的实证评估，验证所提出 q-loss 的鲁棒性。

提出的方法

• q-loss 函数被设计为一种非凸、基于间隔的损失，避免在负间隔较大时出现惩罚无界增长的问题，这是凸损失在标签噪声下失效的关键原因。
• 将训练问题表述为二次无约束二值优化（QUBO）问题，从而可直接映射至绝热量子优化硬件。
• 使用低比特深度二值展开表示模型参数，以满足现有量子处理器的硬件约束。
• 使用经典启发式求解器（如禁忌搜索）作为量子硬件的替代品，以在真实世界数据集上评估性能。
• 通过标记间隔 ≤ q 的样本识别潜在的误标样本，从而与注入的标签翻转进行比较。
• 使用标准的 10 折交叉验证来调整超参数，并确保所有方法之间的公平比较。

实验结果

研究问题

• RQ1 能否设计一种对标签噪声具有鲁棒性的非凸损失函数，同时保持与绝热量子优化硬件的兼容性？
• RQ2 在标签噪声逐渐增加的情况下，QUBO 形式训练的 q-loss 是否在测试误差上优于凸与非凸基线方法？
• RQ3 q-loss 能否在真实世界数据集中有效识别并降低误标样本的影响？
• RQ4 在含噪声环境中，使用与 AQO 兼容的非凸优化是否相较于经典凸优化具有可测量的鲁棒性优势？

主要发现

• 在多个基准数据集上，随着标签噪声增加，q-loss 的测试误差显著低于所有基线方法——包括凸损失（如平方损失、Sigmoid、Probit）与非凸损失（如Ramp损失）。
• q-loss 的性能始终更优，尤其在高噪声水平下，此时经典求解器往往无法达到全局最小值，表明存在计算难度。
• q-loss 能够成功恢复大量注入的标签翻转（例如，在 Venn 图中重叠率达 60–80%），证明其检测误标样本的能力。
• 与 Sigmoid 和 Probit 不同，后者虽为非凸但缺乏 AQO 兼容的表述形式，q-loss 是唯一适合部署于新兴绝热量子优化硬件的损失函数。
• q-loss 的表述通过非凸性实现鲁棒性，同时保持 QUBO 形式下的计算可处理性，而其他非凸损失通常需要凸松弛才能求解。