[论文解读] Quantum-assisted learning of graphical models with arbitrary pairwise connectivity

Marcello Benedetti, John Realpe-Gómez+2 more|arXiv (Cornell University)|Sep 8, 2016

Quantum Computing Algorithms and Architecture被引用 11

一句话总结

本文提出一种量子辅助方法，利用量子退火机训练具有任意成对连接性的概率图模型，克服了硬件限制（如稀疏的量子比特连接性和参数噪声）。通过避免对有效温度的依赖并缓解参数噪声，该方法在真实和合成数据集上成功实现了全连接性的模型训练，使用高达940个量子比特实现了类人的手写数字生成。

ABSTRACT

There is increasing interest in the potential advantages of using quantum computing technologies as sampling engines to speedup machine learning and probabilistic programming tasks. However, some pressing challenges in state-of-the-art quantum annealers have to be overcome before we can assess their actual performance. Most notably, the effective temperature at which samples are generated is instance-dependent and unknown, the interaction graph is sparse, the parameters are noisy, and the dynamic range of the parameters is finite. Of all these limitations, the sparse resulting from the local interaction between quantum bits in physical hardware implementations, is considered the most severe limitation to the quality of constructing powerful machine learning models. Here we show how to surpass this curse of limited connectivity bottleneck and illustrate our findings by training probabilistic generative models with arbitrary pairwise connectivity. Our model can be trained in quantum hardware without full knowledge of the effective parameters specifying the corresponding Boltzmann-like distribution. Therefore, inference of the effective temperature is avoided and the effect of noise in the parameters is mitigated. We illustrate our findings by successfully training hardware-embedded models with all-to-all on a real dataset of handwritten digits and two synthetic datasets. In each of these datasets we show the generative capabilities of the models learned with the assistance of the quantum annealer in experiments with up to 940 quantum bits. Additionally, we show a visual Turing test with handwritten digit data, where the machine generating the digits is a quantum processor. Such digits, with a remarkable similarity to those generated by humans, are extracted from the experiments with 940 quantum bits.

研究动机与目标

• 解决量子退火机中量子比特连接性受限的问题，该问题限制了强大概率模型的训练。
• 实现在量子硬件上训练具有任意成对连接性的生成模型，而无需完全掌握有效温度。
• 减轻当前量子退火设备中参数噪声和有限动态范围的影响。
• 通过一种实用且抗噪声的方案，证明在真实量子硬件上训练具有全连接性的复杂模型的可行性。
• 通过在手写数字数据集上的视觉图灵测试，验证量子辅助训练模型的生成质量。

提出的方法

• 该方法利用量子退火机作为采样引擎，训练具有任意成对相互作用的无向图模型。
• 其学习目标被设计为无需推断有效温度，从而避免了量子采样中一个主要的误差来源。
• 通过依赖相对能量差而非绝对参数值，该方法对参数噪声和有限动态范围具有鲁棒性。
• 模型采用针对量子退火硬件约束而调整的最大似然估计框架进行训练。
• 通过嵌入技术将全连接性映射到稀疏的硬件图上，实现全连接性。
• 该方法在真实手写数字数据集和两个合成数据集上进行了验证，实验中最多使用了940个量子比特。

实验结果

研究问题

• RQ1 尽管存在硬件限制，量子退火机能否用于训练具有任意成对连接性的概率图模型？
• RQ2 在量子辅助机器学习中，能否避免推断有效温度的需求？
• RQ3 参数噪声和有限动态范围如何影响模型训练？在实际中能否有效缓解？
• RQ4 量子生成的样本在视觉图灵测试中能否与人类生成的数据无法区分？
• RQ5 在真实硬件上，该方法能成功训练的最大模型规模（以量子比特计）是多少？

主要发现

• 该方法成功在真实手写数字数据集上使用高达940个量子比特训练出具有全连接性的生成模型。
• 该方法避免了对量子退火机有效温度的估计，从而消除了量子采样中一个主要的误差来源。
• 由于方法对绝对参数值不敏感，参数噪声和有限动态范围对模型性能的影响极小。
• 在视觉图灵测试中，量子生成的手写数字与人类生成的数字高度相似。
• 该方法在真实量子硬件上展现出可扩展性和实际可行性，实现了全连接性量子辅助学习的最先进结果。
• 结果证实，当搭配适当的算法设计时，量子退火机可作为复杂机器学习任务的有效采样引擎。