[论文解读] Quantum Policy Iteration via Amplitude Estimation and Grover Search -- Towards Quantum Advantage for Reinforcement Learning

Simon Wiedemann, Daniel Hein+2 more|arXiv (Cornell University)|Jun 9, 2022

Quantum Computing Algorithms and Architecture被引用 4

一句话总结

该论文提出了一种量子强化学习算法，结合振幅估计算法与格罗弗搜索，使策略评估的样本复杂度相比经典蒙特卡洛方法实现二次方改进。通过构建基于酉算符的有限马尔可夫决策过程的量子实现，该方法实现了可证明减少找到最优策略所需智能体-环境交互次数的量子策略迭代。

ABSTRACT

We present a full implementation and simulation of a novel quantum reinforcement learning method. Our work is a detailed and formal proof of concept for how quantum algorithms can be used to solve reinforcement learning problems and shows that, given access to error-free, efficient quantum realizations of the agent and environment, quantum methods can yield provable improvements over classical Monte-Carlo based methods in terms of sample complexity. Our approach shows in detail how to combine amplitude estimation and Grover search into a policy evaluation and improvement scheme. We first develop quantum policy evaluation (QPE) which is quadratically more efficient compared to an analogous classical Monte Carlo estimation and is based on a quantum mechanical realization of a finite Markov decision process (MDP). Building on QPE, we derive a quantum policy iteration that repeatedly improves an initial policy using Grover search until the optimum is reached. Finally, we present an implementation of our algorithm for a two-armed bandit MDP which we then simulate.

研究动机与目标

• 通过量子算法降低样本复杂度，证明在强化学习中存在可证明的量子优势。
• 开发一个完全基于量子的策略迭代框架，用量子原语替代经典子程序。
• 使用酉算符对状态、动作和奖励进行量子力学实现，形式化有限MDP的量子机械表示。
• 证明使用振幅估计算法的量子策略评估（QPE）相比经典蒙特卡洛估计实现二次加速。
• 通过在双臂老虎机MDP上的仿真，验证量子策略迭代的收敛性与效率。

提出的方法

• 构建有限MDP的酉表示，将智能体-环境交互编码为对量子比特态的量子操作。
• 使用振幅估计算法实现量子策略评估（QPE），以比经典蒙特卡洛方法少二次方数量级的量子样本，估计策略的价值函数。
• 利用格罗弗搜索将QPE嵌入策略改进循环中，迭代寻找更优策略，形成量子近似策略迭代方案。
• 设计使用单量子比特门和多量子比特门的显式量子电路，实现在数字量子计算机上的策略评估与改进步骤。
• 通过受控态制备结合振幅估计算法，估计叠加态中的期望累积奖励，利用量子相位估计算法。
• 对策略空间应用类似格罗弗的放大技术，以搜索ε-最优策略，迭代次数随N个策略增长为O(√N)。

实验结果

研究问题

• RQ1 在强化学习中，量子振幅估计算法是否能为经典蒙特卡洛策略评估提供可证明的样本复杂度优势？
• RQ2 如何将格罗弗搜索集成到量子策略迭代框架中，以比经典方法更高效地改进策略？
• RQ3 当应用于具有小策略空间的有限MDP时，量子策略迭代的实证收敛行为如何？
• RQ4 量子策略迭代的运行时间是否如理论预测的那样，相对于策略数量N呈O(√N)的量级？
• RQ5 在考虑量子样本制备成本的情况下，QPE中的量子优势在何种条件下仍能保持？

主要发现

• 量子策略评估（QPE）相比经典蒙特卡洛策略评估实现了二次加速，仅需更少的量子样本即可在给定精度内估计价值函数。
• 在双臂老虎机MDP上的仿真验证了QPE的理论量子优势，QPE收敛速度更快，且所需交互次数少于经典MC方法。
• 量子策略迭代在有限次迭代内收敛至最优策略，且在找到最优策略后，最终成功概率达到1。
• 用于策略改进的平均格罗弗旋转次数与√N呈线性关系，证实了对N个策略的O(√N)复杂度预测。
• 超过99%的仿真运行成功找到了ε-最优策略，表明尽管存在噪声和状态制备挑战，量子策略迭代过程仍具有高度可靠性。
• 量子策略迭代的运行时间分布对称，四分位距较大，反映出由于早期迭代中对近优策略的随机采样导致的随机收敛特性。