[论文解读] Noise-injected analog Ising machines enable ultrafast statistical sampling and machine learning

Fabian Böhm, Diego Alonso-Urquijo+2 more|arXiv (Cornell University)|Dec 21, 2021

Advanced Memory and Neural Computing参考文献 55被引用 40

一句话总结

本文提出通过噪声注入实现一种通用方法，使模拟伊辛机能够实现超高速玻尔兹曼采样，克服其固有地无法达到热平衡的缺陷。通过在时分复用的光电子伊辛机中注入宽带噪声，作者展示了对玻尔兹曼分布的精确采样，以及受限玻尔兹曼机的无监督训练，其性能与基于软件的方法相当，采样速率高达 GSamples/s——比传统方法快几个数量级。

ABSTRACT

Ising machines are a promising non-von-Neumann computational concept for neural network training and combinatorial optimization. However, while various neural networks can be implemented with Ising machines, their inability to perform fast statistical sampling makes them inefficient for training neural networks compared to digital computers. Here, we introduce a universal concept to achieve ultrafast statistical sampling with analog Ising machines by injecting noise. With an opto-electronic Ising machine, we experimentally demonstrate that this can be used for accurate sampling of Boltzmann distributions and for unsupervised training of neural networks, with equal accuracy as software-based training. Through simulations, we find that Ising machines can perform statistical sampling orders-of-magnitudes faster than software-based methods. This enables the use of Ising machines beyond combinatorial optimization and makes them into efficient tools for machine learning and other applications.

研究动机与目标

• 为解决模拟伊辛机在执行快速且精确的玻尔兹曼采样方面存在的关键限制，该限制阻碍了其在机器学习中的应用。
• 开发一种通用的、与硬件无关的方法，以在无需复杂温度控制的情况下诱导模拟伊辛系统达到热平衡。
• 证明噪声注入的伊辛机可实现与数字软件方法相当的无监督训练精度。
• 通过数值模拟量化模拟伊辛机相较于基于软件的方法在采样速度上的优势。
• 在多种类型的放大-耗散系统上验证该方法，证明其普适性。

提出的方法

• 通过向时分复用的光电子伊辛机注入宽带高斯白噪声，使系统在可控的有效温度下达到热平衡。
• 利用现场可编程门阵列（FPGA）构成的反馈回路，动态控制耦合权重和偏置，实现伊辛哈密顿量的实时重构。
• 通过非线性光学系统中的分叉点（pitchfork bifurcation）将二元伊辛自旋映射为连续的模拟振幅，其中自旋态由振幅的符号决定。
• 采用梅特罗波利斯-黑斯廷斯算法作为采样精度的基准，与噪声注入伊辛机生成的样本进行对比。
• 对多种放大-耗散系统（多项式、截断型、S型非线性）进行数值模拟，以测试噪声注入方法在不同物理实现中的普适性。
• 使用伪似然和预测准确率作为指标，评估在MNIST数字识别任务中无监督训练的性能。

实验结果

研究问题

• RQ1 噪声注入是否能诱导原本仅限于基态计算的模拟伊辛机实现精确的玻尔兹曼采样？
• RQ2 注入噪声的方差与伊辛系统有效温度之间存在何种关系？
• RQ3 噪声注入的伊辛机是否能在实际机器学习任务中实现与基于软件的方法相当的无监督训练精度？
• RQ4 噪声注入伊辛机的采样速度与基于软件的采样方法相比如何？
• RQ5 该噪声注入方法是否普遍适用于不同类型放大-耗散物理系统？

主要发现

• 噪声注入的光电子伊辛机在广泛温度范围内（包括接近临界相变点）实现了与梅特罗波利斯-黑斯廷斯算法相当的玻尔兹曼采样精度。
• 伊辛系统的有效温度与注入噪声的方差呈线性关系，从而实现了对采样分布的精确控制。
• 利用噪声注入采样进行受限玻尔兹曼机的无监督训练，测试预测准确率分别达到93.8%（多项式）、95.3%（截断型）和94.4%（S型），与基于软件的训练性能相当。
• 数值模拟预测，采用现成组件的空间复用模拟伊辛机采样速率可达 GSamples/s，相比基于软件的方法实现了数个数量级的速度提升。
• 该方法在三种不同类型的放大-耗散系统（多项式、截断型、S型非线性）中成功验证，证明了其普适性。
• 该方法使模拟伊辛机摆脱了仅限于组合优化的局限，成为通用机器学习与统计采样可行的平台。