[论文解读] Reinforcement Learning Assisted Recursive QAOA

Yash J. Patel, Sofiène Jerbi+2 more|arXiv (Cornell University)|Jul 13, 2022

Quantum Computing Algorithms and Architecture被引用 7

一句话总结

该论文提出了一种增强型强化学习的递归QAOA（RL-RQAOA），通过将RQAOA中的变量消去过程建模为强化学习问题，学习最优的消去顺序和QAOA参数，从而在伊辛自旋模型的困难实例上提升了求解质量。该方法在困难实例上优于标准RQAOA，同时在较易实例上仍保持优异性能。

ABSTRACT

Variational quantum algorithms such as the Quantum Approximation Optimization Algorithm (QAOA) in recent years have gained popularity as they provide the hope of using NISQ devices to tackle hard combinatorial optimization problems. It is, however, known that at low depth, certain locality constraints of QAOA limit its performance. To go beyond these limitations, a non-local variant of QAOA, namely recursive QAOA (RQAOA), was proposed to improve the quality of approximate solutions. The RQAOA has been studied comparatively less than QAOA, and it is less understood, for instance, for what family of instances it may fail to provide high quality solutions. However, as we are tackling $\mathsf{NP}$-hard problems (specifically, the Ising spin model), it is expected that RQAOA does fail, raising the question of designing even better quantum algorithms for combinatorial optimization. In this spirit, we identify and analyze cases where RQAOA fails and, based on this, propose a reinforcement learning enhanced RQAOA variant (RL-RQAOA) that improves upon RQAOA. We show that the performance of RL-RQAOA improves over RQAOA: RL-RQAOA is strictly better on these identified instances where RQAOA underperforms, and is similarly performing on instances where RQAOA is near-optimal. Our work exemplifies the potentially beneficial synergy between reinforcement learning and quantum (inspired) optimization in the design of new, even better heuristics for hard problems.

研究动机与目标

• 识别并分析深度为1的递归QAOA（RQAOA）在伊辛自旋模型上的失败案例，特别是近似比低于0.95的情况。
• 理解RQAOA在这些困难实例上失败的根本原因，重点关注次优的变量消去顺序和QAOA参数选择。
• 设计一种混合量子-经典算法，通过整合强化学习来优化消去顺序和QAOA参数，从而改进RQAOA。
• 通过与仅使用经典强化学习的代理（RL-RONE）进行比较，验证所提方法的量子优势，后者模拟了暴力搜索过程。
• 证明RL-RQAOA中的量子线路对性能有实质性贡献，而非仅作为经典模拟的代理。

提出的方法

• 识别小规模的伊辛问题困难实例（例如(3,12)-笼图），其深度为1的RQAOA近似比≤0.95。
• 将RQAOA中的变量消去步骤重新表述为强化学习（RL）决策过程，其中智能体学习选择用于消去的变量。
• 在RL-RQAOA中引入一种受量子启发的策略网络，以在消去过程中平衡探索与利用。
• 使用策略梯度方法训练RL智能体，以在每个递归步骤中优化QAOA参数（角度），而非使用能量最优参数。
• 将RL-RQAOA与标准RQAOA及仅使用经典RL的基线（RL-RONE）进行比较，后者不使用量子线路，而是模拟暴力搜索。
• 在随机加权d-正则图集合（包括100和200个节点的3-正则图）上进行经典模拟，以评估多次运行下的性能表现。

实验结果

研究问题

• RQ1 在哪些结构或组合特性下，深度为1的RQAOA在伊辛问题实例上无法获得高质量解？
• RQ2 RQAOA中变量消去顺序的选择如何影响最终解的质量？是否可通过学习实现优化？
• RQ3 强化学习能否同时改进递归QAOA中待消去变量的选择与QAOA参数，从而获得更高的近似比？
• RQ4 与仅使用经典RL相比，RL-RQAOA中的量子线路在多大程度上贡献了性能提升？
• RQ5 在相同问题实例上，混合量子-经典RL-RQAOA算法是否比纯经典RL智能体收敛更快且达到更优解？

主要发现

• RL-RQAOA在所有识别出的困难实例上均持续优于标准RQAOA，包括(3,12)-笼图，后者中RQAOA无法达到最优解。
• 在15次独立运行中，RL-RQAOA在困难实例上的平均最佳近似比显著高于RQAOA，且具有统计学显著性。
• RL-RQAOA的学习曲线显示其收敛速度更快，最终性能更优，即使QAOA参数随机初始化，也优于经典RL-RONE智能体。
• RL-RQAOA中的量子线路对性能有实质性贡献，因为其显著优于缺乏量子资源的纯经典RL-RONE智能体。
• RL-RQAOA在简单实例上也保持了强大性能，与RQAOA的近优结果相当，表明其在不同问题难度下的鲁棒性。
• 所提方法可扩展至深度大于1的RQAOA，且可适配更高电路深度，表明其在NISQ时代优化中的广泛适用性。