[论文解读] Quantum Algorithms for Reinforcement Learning with a Generative Model

Daochen Wang, Aarthi Sundaram+3 more|arXiv (Cornell University)|Dec 15, 2021

Quantum Computing Algorithms and Architecture参考文献 23被引用 13

一句话总结

该论文提出了一种基于量子生成模型的量子算法，用于马尔可夫决策过程（MDPs）中的强化学习，在有效时间范围（1/(1−γ)）、动作空间大小（A）和近似误差（ϵ）方面，相较于经典方法实现了二次加速。该算法能够以改进的样本复杂度计算最优策略、价值函数和Q函数，并通过匹配的量子下界证明了Q函数算法的最优性。

ABSTRACT

Reinforcement learning studies how an agent should interact with an environment to maximize its cumulative reward. A standard way to study this question abstractly is to ask how many samples an agent needs from the environment to learn an optimal policy for a $γ$-discounted Markov decision process (MDP). For such an MDP, we design quantum algorithms that approximate an optimal policy ($π^*$), the optimal value function ($v^*$), and the optimal $Q$-function ($q^*$), assuming the algorithms can access samples from the environment in quantum superposition. This assumption is justified whenever there exists a simulator for the environment; for example, if the environment is a video game or some other program. Our quantum algorithms, inspired by value iteration, achieve quadratic speedups over the best-possible classical sample complexities in the approximation accuracy ($ε$) and two main parameters of the MDP: the effective time horizon ($\frac{1}{1-γ}$) and the size of the action space ($A$). Moreover, we show that our quantum algorithm for computing $q^*$ is optimal by proving a matching quantum lower bound.

研究动机与目标

• 设计高效的量子算法，用于近似折扣马尔可夫决策过程（MDPs）中的最优策略、价值函数和Q函数。
• 通过利用对环境生成模型的量子访问，相较于经典方法，实现改进的样本复杂度。
• 通过建立匹配的量子下界，证明用于计算最优Q函数的量子算法在样本复杂度上是最优的。
• 在标准假设下探索量子加速在强化学习中的极限，特别是针对ϵ、Γ = 1/(1−γ)和A。
• 识别将量子加速扩展到基于模型的算法和更广泛MDP类别的开放问题。

提出的方法

• 算法基于一种量子生成模型，可通过量子叠加访问状态转移概率，从而实现对环境动态的相干访问。
• 核心方法将值迭代适配到量子设置，利用幅度放大和幅度估计算法加速收敛。
• 通过将经典模拟电路转化为可逆电路，再利用Hadamard变换和量子门进行量化，系统地构建量子电路。
• 量子生成模型被形式化为一个酉操作，可准备出与转移概率成正比的下一状态叠加态。
• 算法使用量子幅度估计算法以精度ϵ估计价值函数和Q函数，实现在ϵ及其他关键参数上的二次加速。
• 该构造确保当存在经典模拟器时，量子访问模型是可实现的，例如在视频游戏或程序化环境中。

实验结果

研究问题

• RQ1 量子算法能否在具有生成模型的MDP中，对最优Q函数的近似实现样本复杂度的二次加速？
• RQ2 用于计算最优Q函数的量子算法在样本复杂度上是否最优？能否通过量子下界证明其最优性？
• RQ3 能否在近似最优价值函数和策略方面实现类似的量子加速？其性能如何随Γ = 1/(1−γ)、A和ϵ变化？
• RQ4 当状态空间大小S较大时，量子加速的局限性是什么？为何S未在量子界中得到改善？
• RQ5 量子算法能否扩展到基于模型的方法或函数逼近设置？在特殊MDP类别中是否存在更大的加速潜力？

主要发现

• 用于计算最优Q函数的量子算法实现了O(SAΓ^1.5 / ϵ)的样本复杂度，相较于经典最优界O(SAΓ^3 / ϵ^2)实现了二次加速。
• 证明了匹配的量子下界Ω(SAΓ^1.5 / ϵ)，表明该Q*量子算法在对数因子范围内是最优的。
• 对于最优价值函数v*和策略π*，量子算法实现了O(SAΓ^1.5 / ϵ)的样本复杂度，与q*的上界一致，并相较于经典方法实现了二次加速。
• π*的量子算法实现了O(S√A Γ^1.5 / ϵ)的样本复杂度，在A为常数或特定参数范围内是最优的。
• 结果表明，量子加速在ϵ、Γ和A方面是可能的，但在S方面不可行，表明状态空间大小仍是根本瓶颈。
• 本文识别出若干开放问题，包括在所有参数下实现最优量子算法，以及将结果扩展到基于模型的量子算法或函数逼近设置。