[论文解读] Policy Gradient based Quantum Approximate Optimization Algorithm

Jiahao Yao, Marin Bukov+1 more|arXiv (Cornell University)|Feb 4, 2020

Quantum Computing Algorithms and Architecture参考文献 59被引用 27

一句话总结

本文提出PG-QAOA，一种基于策略梯度强化学习的方法，用于在噪声中等规模量子（NISQ）设备上优化变分量子算法（QAOA）中的变分参数。通过将QAOA参数优化视为连续控制问题，PG-QAOA避免了显式梯度计算，并在面对噪声——尤其是测量误差和哈密顿量误差——时表现出更强的鲁棒性，优于传统优化方法（如Nelder-Mead、CMA和PSO），在噪声条件下执行多量子比特态传输任务时表现更优。

ABSTRACT

The quantum approximate optimization algorithm (QAOA), as a hybrid quantum/classical algorithm, has received much interest recently. QAOA can also be viewed as a variational ansatz for quantum control. However, its direct application to emergent quantum technology encounters additional physical constraints: (i) the states of the quantum system are not observable; (ii) obtaining the derivatives of the objective function can be computationally expensive or even inaccessible in experiments, and (iii) the values of the objective function may be sensitive to various sources of uncertainty, as is the case for noisy intermediate-scale quantum (NISQ) devices. Taking such constraints into account, we show that policy-gradient-based reinforcement learning (RL) algorithms are well suited for optimizing the variational parameters of QAOA in a noise-robust fashion, opening up the way for developing RL techniques for continuous quantum control. This is advantageous to help mitigate and monitor the potentially unknown sources of errors in modern quantum simulators. We analyze the performance of the algorithm for quantum state transfer problems in single- and multi-qubit systems, subject to various sources of noise such as error terms in the Hamiltonian, or quantum uncertainty in the measurement process. We show that, in noisy setups, it is capable of outperforming state-of-the-art existing optimization algorithms.

研究动机与目标

• 本文旨在解决在真实NISQ约束下优化QAOA参数的挑战，包括不可观测的量子态、无法获取的导数以及噪声测量。
• 研究探讨策略梯度强化学习（RL）是否可作为经典优化在噪声量子控制场景中的鲁棒替代方案。
• 目标是开发一种不依赖显式梯度计算或光滑性假设的噪声鲁棒优化框架，适用于变分量子算法。
• 研究特别聚焦于在各种噪声源（包括哈密顿量误差和量子测量不确定性）影响下的单量子比特与多量子比特系统中的量子态传输问题。

提出的方法

• 该方法采用策略梯度方法，将QAOA参数优化建模为连续控制问题，其中策略由QAOA角度的高斯分布参数化。
• 通过REINFORCE算法估计策略梯度，利用采样轨迹估计期望奖励（保真度），并通过随机梯度上升更新策略参数。
• 算法采用可微分的QAOA电路参数化方式，其中均值和标准差分别从截断正态分布和对数正态分布中采样。
• 每轮迭代使用批量轨迹（batched rollouts），每轮M=2048（N=10时为M=256）条轨迹，训练共10^4轮以优化策略。
• 该方法避免计算目标函数的一阶或二阶导数，因此适用于噪声或非光滑的奖励景观。
• 该方法在N=3至10量子比特系统上进行了测试，对N≥6的系统固定p=60，并在保真度估计中评估了高斯噪声和量子测量噪声下的性能。

实验结果

研究问题

• RQ1 在导数不可用或不可靠的情况下，策略梯度强化学习是否能有效优化QAOA参数，尤其是在存在噪声时？
• RQ2 在多量子比特系统中，PG-QAOA与Nelder-Mead、Powell、CMA和PSO等经典无导数优化方法相比，在噪声条件下的表现如何？
• RQ3 在变分量子线路中，PG-QAOA是否比现有优化算法对测量噪声和哈密顿量误差更具鲁棒性？
• RQ4 当目标函数因量子测量不确定性而呈现非光滑或不连续时，策略梯度方法是否仍能保持性能？
• RQ5 尽管不依赖梯度信息，PG-QAOA是否能实现与更复杂的方法（如序列凸规划SCP）相当或更优的保真度？

主要发现

• 在高斯噪声和量子测量噪声下，PG-QAOA在保真度优化方面优于Nelder-Mead、Powell、CMA和PSO，且随着量子比特数增加，优势更加明显。
• 在测量噪声存在的情况下，PG-QAOA的性能下降显著低于其他算法，表明其对噪声奖励估计具有更强的鲁棒性。
• 对于N=6、8、10量子比特且固定p=60的情况，PG-QAOA的保真度高于其他方法，尽管由于固定p，理论最大保真度预期会下降。
• 该方法在不同噪声水平下均保持稳定性能，并能良好扩展至更大系统规模，显示出其在更大NISQ设备中的适用性。
• PG-QAOA在无需显式梯度计算的情况下，性能可与复杂的基于导数的方法（如SCP）相媲美，凸显其在真实噪声量子硬件中的实际优势。
• 由于其对奖励信号不确定性的内在鲁棒性，该算法在目标函数非光滑或噪声较大时仍保持有效性能。