[论文解读] Reinforcement-Learning-Based Variational Quantum Circuits Optimization for Combinatorial Problems

Sami Khairy, Ruslan Shaydulin+3 more|arXiv (Cornell University)|Nov 11, 2019

Quantum Computing Algorithms and Architecture参考文献 18被引用 12

一句话总结

该论文提出一种基于强化学习（RL）的策略网络，用于优化组合优化问题中量子近似优化算法（QAOA）电路的变分参数，通过在小型图实例上进行训练，并泛化至更大、未见过的实例。与Nelder-Mead等现成优化器相比，该RL策略将最优性差距降低了最多8.61倍，显著提升了求解质量，同时减少了量子线路评估次数。

ABSTRACT

Quantum computing exploits basic quantum phenomena such as state superposition and entanglement to perform computations. The Quantum Approximate Optimization Algorithm (QAOA) is arguably one of the leading quantum algorithms that can outperform classical state-of-the-art methods in the near term. QAOA is a hybrid quantum-classical algorithm that combines a parameterized quantum state evolution with a classical optimization routine to approximately solve combinatorial problems. The quality of the solution obtained by QAOA within a fixed budget of calls to the quantum computer depends on the performance of the classical optimization routine used to optimize the variational parameters. In this work, we propose an approach based on reinforcement learning (RL) to train a policy network that can be used to quickly find high-quality variational parameters for unseen combinatorial problem instances. The RL agent is trained on small problem instances which can be simulated on a classical computer, yet the learned RL policy is generalizable and can be used to efficiently solve larger instances. Extensive simulations using the IBM Qiskit Aer quantum circuit simulator demonstrate that our trained RL policy can reduce the optimality gap by a factor up to 8.61 compared with other off-the-shelf optimizers tested.

研究动机与目标

• 为解决QAOA中经典优化效率低下这一挑战，以推动近期量子优势的实现。
• 探究是否可将QAOA参数优化问题建模为学习问题，而非特定实例的优化任务。
• 开发一种可泛化的RL策略，从小型问题实例中学习，并泛化至更大、未见过的组合图。
• 减少在QAOA中获得高质量解所需的量子线路评估次数。
• 将所学RL策略的性能与标准无导数优化器（如Nelder-Mead）进行基准对比。

提出的方法

• 在小型最大割问题实例（如G_R(16,0.5)）上使用IBM Qiskit Aer量子线路模拟器训练RL智能体。
• 策略网络通过最大化期望能量f(β,γ) = ⟨ψ(β,γ)|H_C|ψ(β,γ)⟩来学习优化QAOA参数β和γ。
• QAOA线路采用参数化演化，交替使用混杂哈密顿量（H_M）和代价哈密顿量（H_C）的层，从均匀叠加态演化。
• RL环境将状态空间定义为当前参数集（β,γ），动作空间为基于策略梯度的小参数更新。
• 在更大的测试实例（G_Test）上评估策略，包括随机图、社区图和梯子图，性能通过近似比和最优性差距衡量。
• 采用混合策略（RLNM），即在B/2次评估后，从Nelder-Mead的最佳参数处继续RL训练，以提升收敛速度。

实验结果

研究问题

• RQ1 在小型QAOA实例上训练的强化学习策略，能否泛化至优化更大、未见过的组合问题实例？
• RQ2 与标准现成优化器相比，RL在QAOA参数优化中能将最优性差距降低多少？
• RQ3 RL策略是否利用了QAOA非凸代价景观中的几何规律以加速收敛？
• RQ4 该RL策略在不同图类型（随机、社区、梯子图）及不同QAOA线路深度下的性能表现如何？
• RQ5 将RL与经典优化器（如Nelder-Mead）结合，是否能获得优于任一方法单独使用的效果？

主要发现

• 在不同图子组和QAOA深度下，与Nelder-Mead优化器相比，RL策略将最优性差距降低了最多8.61倍。
• 对于p=1，RL策略的中位最优性比优于Nelder-Mead，差距降低因子在1.16至8.61之间，具体取决于图类型。
• RLNM混合方法（在Nelder-Mead最佳参数处恢复RL训练）在p=1,2,4时均实现了更优的中位最优性比。
• RL策略能有效从小型训练实例（如G_R(16,0.5)）泛化至更大测试实例（如G_L(8)、G_B(8)、G_C(2,8)），展现出强大的可迁移性。
• RL策略平均约20次迭代内即可获得高质量解，其轨迹即使在非凸景观下也能快速逼近全局最大值。
• 随着QAOA深度p的增加，近似比提升，且RL策略在所有测试深度和图类别中均保持一致的性能优势。