[论文解读] Optimizing Quantum Annealing Schedules: From Monte Carlo Tree Search to QuantumZero

Yuqin Chen, Yu Chen+3 more|arXiv (Cornell University)|Apr 6, 2020

Quantum Computing Algorithms and Architecture参考文献 49被引用 4

一句话总结

本文提出 QuantumZero（QZero），一种基于神经网络增强的蒙特卡洛树搜索（MCTS）框架，用于自动优化绝热量子计算中的量子退火时序。通过结合MCTS与迁移学习，QZero能高效发现高成功率的退火时序，优于其他强化学习方法，尤其在预训练后针对大量相似问题求解时表现更优。

ABSTRACT

Quantum annealing is a practical approach to execute the native instruction set of the adiabatic quantum computation model. The key of running adiabatic algorithms is to maintain a high success probability of evolving the system into the ground state of a problem-encoded Hamiltonian at the end of an annealing schedule. This is typically done by executing the adiabatic algorithm slowly to enforce adiabacity. However, properly optimized annealing schedule can accelerate the computational process. Inspired by the recent success of DeepMind's AlphaZero algorithm that can efficiently explore and find a good winning strategy from a large combinatorial search with a neural-network-assisted Monte Carlo Tree Search (MCTS), we adopt MCTS and propose a neural-network-enabled version, termed QuantumZero (QZero), to automate the design of an optimal annealing schedule in a hybrid quantum-classical framework. The flexibility of having neural networks allows us to apply transfer-learning technique to boost QZero's performance. We find both MCTS and QZero to perform very well in finding excellent annealing schedules even when the annealing time is short in the 3-SAT examples we consider in this study. We also find MCTS and QZero to be more efficient than many other leading reinforcement leanring algorithms for the task of desining annealing schedules. In particular, if there is a need to solve a large set of similar problems using a quantum annealer, QZero is the method of choice when the neural networks are first pre-trained with examples solved in the past.

研究动机与目标

• 解决设计最优退火时序的挑战，以最大化在量子退火中达到基态的概率。
• 利用机器学习自动发现高效退火时序，减少对耗时的手动调优的依赖。
• 通过加速绝热演化之外的收敛速度，提升计算效率。
• 在解决大量相关3-SAT实例时，实现跨问题的迁移学习，提升性能。
• 在量子退火器的时序优化中，超越现有强化学习基线方法。

提出的方法

• 采用混合量子-经典框架，其中经典MCTS探索可能的退火时序空间。
• 在MCTS中集成神经网络，以引导树的探索与价值估计，实现在高维时序空间中的高效搜索。
• 通过在先前求解的3-SAT问题上预训练神经网络，实现迁移学习，以加速对新相似问题的学习。
• 将基于MCTS的QZero算法应用于迭代优化退火时序，依据量子退火运行的成功概率反馈进行调整。
• 通过树策略与回溯函数，在搜索空间中平衡探索与利用，优化退火时序。
• 利用神经网络的泛化能力，从已知的优质时序外推至新的、相似的问题实例。

实验结果

研究问题

• RQ1 神经网络增强的MCTS方法能否有效发现高性能的量子退火时序？
• RQ2 QZero在优化退火时序方面与其它强化学习算法相比表现如何？
• RQ3 迁移学习在相似问题间优化退火时序的效率方面能提升到何种程度？
• RQ4 在短退火时间下，QZero是否仍能保持高成功率？
• RQ5 MCTS与QZero是否在计算速度与成功率方面优于传统绝热演化？

主要发现

• QZero与MCTS均能在3-SAT问题中实现高成功率，即使在退火时间较短时亦然。
• 神经网络增强的QZero在调度优化任务中优于多种领先的强化学习算法。
• 在预训练后，针对大量相似问题求解时，迁移学习显著提升了QZero的性能。
• 与标准绝热演化相比，QZero能更快收敛至高质量时序，减少对缓慢、暴力调优的依赖。
• 该方法在典型量子退火问题的组合搜索空间中表现出强鲁棒性与可扩展性。
• MCTS与QZero均展现出优异的泛化能力，在多样化的3-SAT实例上保持高性能，且几乎无需重新训练。