[论文解读] Online calibration scheme for training restricted Boltzmann machines with quantum annealing

Takeru Goto, Masayuki Ohzeki|arXiv (Cornell University)|Jul 19, 2023

Machine Learning and ELMComputer Science被引用 3

一句话总结

本文提出一种基于D-Wave量子退火机的在线校准方案，用于训练受限玻尔兹曼机（RBMs），通过对比分歧（CD）算法实时估计内部参数（如逆温度和偏置特定系数）等参数。该方法提升了样本质量，在KL散度性能上与经典Gibbs采样相当，优于标准CD训练。

ABSTRACT

We propose a scheme to calibrate the internal parameters of a quantum annealer to obtain well-approximated samples for training a restricted Boltzmann machine (RBM). Empirically, samples from quantum annealers obey the Boltzmann distribution, making them suitable for RBM training. Quantum annealers utilize physical phenomena to generate a large number of samples in a short time. However, hardware imperfections make it challenging to obtain accurate samples. Existing research often estimates the inverse temperature for the compensation. Our scheme efficiently utilizes samples for RBM training also to estimate internal parameters. Furthermore, we consider additional parameters and demonstrate that they improve sample quality. We evaluate our approach by comparing the obtained samples with classical Gibbs sampling, which theoretically generates accurate samples. Our results indicate that our scheme demonstrates performance on par with Gibbs sampling. In addition, the training results with our estimation scheme outperform those of the contrastive divergence algorithm, a standard training algorithm for RBM.

研究动机与目标

• 解决硬件缺陷导致的量子退火机采样不准确问题，以提升用于RBMs训练的样本质量。
• 开发一种实时校准方案，在RBMs训练过程中估计内部参数，避免后期处理或多次模型重训练。
• 通过估计多个参数（包括偏置特定系数）提升样本保真度，超越标准逆温度补偿方法。
• 在KL散度指标下，评估所提方法与经典采样（Gibbs）和标准CD训练的性能表现。

提出的方法

• 该方法使用D-Wave量子退火机生成的样本作为训练数据，并应用对比分歧（CD）算法实时估计内部参数。
• 将有效逆温度（β_eff）及其他参数的估计问题建模为最小化经验分布与模型分布之间KL散度的优化问题。
• 该方案可为权重、可见层偏置和隐藏层偏置分别估计一个或多个逆温度参数，或为每类偏置使用独立系数以增强灵活性。
• 所有参数均基于CD算法的同一更新规则进行迭代更新，实现模型训练与校准的同步进行。
• 该方法避免了昂贵的后期处理或似然最大化，相比先前方法显著降低了计算开销。
• 在三种参数配置下对方法进行了评估：单一β、三个β（分别对应权重和各类偏置）以及单一β配合各偏置类型的独立系数。

实验结果

研究问题

• RQ1 在RBMs训练过程中，对量子退火机参数进行实时校准是否能提升样本质量，相比标准CD训练？
• RQ2 估计多个内部参数（如为权重和偏置分别设置独立β）是否能带来优于单一β估计的性能？
• RQ3 不同内部参数的收敛行为如何影响训练动态与最终模型性能？
• RQ4 所提方案能否在减少训练时间的同时，实现与经典Gibbs采样相当的KL散度性能？

主要发现

• 在三参数配置（权重和各类偏置分别对应一个β）下，所提方法实现了最低KL散度2.78，优于标准CD算法。
• 单β加所有偏置系数的配置（即权重使用一个β，所有偏置使用独立系数）表现最佳，KL散度为2.78，表明样本分布精度得到提升。
• 该方法性能与经典Gibbs采样相当，所有配置下的KL散度值均低于3.30。
• 使用多个内部参数的训练过程在500个epoch后仍持续改进，而单参数情况中β_eff在早期即收敛并停滞。
• 有效逆温度β_eff在500个epoch内完成收敛，但其他参数（如β_h）仍持续演化，表明更多参数需要更多样本才能稳定。
• 与先前方法相比，该方法通过消除后期处理并实现训练与校准同步，显著缩短了训练时间。