[论文解读] Quantum-inspired annealers as Boltzmann generators for machine learning and statistical physics

Alexander E. Ulanov, Egor Tiunov+1 more|arXiv (Cornell University)|Dec 18, 2019

Quantum Computing Algorithms and Architecture参考文献 38被引用 4

一句话总结

本文提出一种受量子启发的数字模拟退火算法 SimCIM，作为从复杂高维 Ising 分布中采样的高质量玻尔兹曼生成器。该研究成功使用 SimCIM 采样在 MNIST 数字上训练了全可见玻尔兹曼机，实现了 86.9% 的分类准确率，并有效估计了配分函数，优于平均场方法，同时为量子退火器和深度学习模型提供了一种即插即用的替代方案。

ABSTRACT

Quantum simulators and processors are rapidly improving nowadays, but they are still not able to solve complex and multidimensional tasks of practical value. However, certain numerical algorithms inspired by the physics of real quantum devices prove to be efficient in application to specific problems, related, for example, to combinatorial optimization. Here we implement a numerical annealer based on simulating the coherent Ising machine as a tool to sample from a high-dimensional Boltzmann probability distribution with the energy functional defined by the classical Ising Hamiltonian. Samples provided by such a generator are then utilized for the partition function estimation of this distribution and for the training of a general Boltzmann machine. Our study opens up a door to practical application of numerical quantum-inspired annealers.

研究动机与目标

• 开发一种实用、高效且对噪声具有鲁棒性的方法，用于从高维玻尔兹曼分布中生成无偏样本。
• 将这些样本应用于训练通用玻尔兹曼机，并估计统计物理中难以计算的配分函数。
• 通过使用相干伊辛机的经典模拟，克服现有量子退火器的局限性，如参数噪声、架构受限和退相干问题。
• 证明受量子启发的数值算法可作为即插即用的玻尔兹曼生成器，优于平均场近似，并可直接应用于机器学习与物理领域。

提出的方法

• 本研究采用 SimCIM 算法，即对相干伊辛机的数值模拟，以从由经典伊辛哈密顿量定义的玻尔兹曼分布中生成一次性样本。
• 利用 SimCIM 生成的样本通过直接求和与退火重要性采样（AIS）估计配分函数，并与低维情况下的精确枚举结果进行比较。
• 使用 SimCIM 生成的样本，通过随机梯度上升法在对数似然目标上训练全可见、全连接的玻尔兹曼机，梯度由 SimCIM 生成的样本计算得出。
• 在训练过程中应用有效温度调节，以提升收敛性和性能，从而同时提高对数似然值与分类准确率。
• 该方法利用 SimCIM 处理任意实值耦合与偏置矩阵的能力，实现对复杂能量景观的精确建模。
• 该方法避免了深度神经网络所需的迭代训练过程，同时规避了 D-Wave 等物理量子退火器的硬件限制。

实验结果

研究问题

• RQ1 像 SimCIM 这样的受量子启发的数值退火器能否从高维玻尔兹曼分布中生成高质量、无偏的样本？
• RQ2 这些样本能否有效用于训练通用玻尔兹曼机以完成分类任务，特别是在 MNIST 等基准数据集上？
• RQ3 与精确方法或平均场方法相比，使用 SimCIM 生成的样本在估计配分函数时的准确性如何？
• RQ4 SimCIM 在捕捉自旋系统中的强关联性方面是否优于传统平均场近似？
• RQ5 SimCIM 是否可作为即插即用的玻尔兹曼生成器，从而绕过物理量子退火器的硬件限制？

主要发现

• 基于 SimCIM 的玻尔兹曼生成器成功在 MNIST 数据集上训练了全可见玻尔兹曼机，实现了 86.9% 的分类准确率。
• 在低维设置下，SimCIM 生成样本估计的配分函数值与通过穷举搜索计算的精确值高度一致。
• 在训练过程中应用有效温度调节显著提升了玻尔兹曼机的平均对数似然值与分类准确率。
• SimCIM 生成的样本能够实现手写数字的有意义图像重建，且视觉质量随训练轮次逐步提升。
• 该方法在捕捉长程自旋关联方面优于平均场近似，并提供了对难以计算的统计量更准确的估计。
• SimCIM 为物理量子退火器提供了一种实用、抗噪声且与硬件无关的替代方案，可直接应用于机器学习与统计物理，无需迭代训练。