[论文解读] Variational quantum policies for reinforcement learning.

Sofiène Jerbi, Casper Gyurik+3 more|arXiv (Cornell University)|Mar 9, 2021

Quantum Computing Algorithms and Architecture参考文献 45被引用 30

一句话总结

本文提出将变分量子线路用作强化学习策略，通过量子策略梯度方法实现其训练。在经典困难性假设下，该研究在特定任务中建立了可证明的量子优势，并在基准环境中展示了其相对于经典神经网络策略的实证改进。

ABSTRACT

Variational quantum circuits have recently gained popularity as quantum machine learning models. While considerable effort has been invested to train them in supervised and unsupervised learning settings, relatively little attention has been given to their potential use in reinforcement learning. In this work, we leverage the understanding of quantum policy gradient algorithms in a number of ways. First, we investigate how to construct and train reinforcement learning policies based on variational quantum circuits. We propose several designs for quantum policies, provide their learning algorithms, and test their performance on classical benchmarking environments. Second, we show the existence of task environments with a provable separation in performance between quantum learning agents and any polynomial-time classical learner, conditioned on the widely-believed classical hardness of the discrete logarithm problem. We also consider more natural settings, in which we show an empirical quantum advantage of our quantum policies over standard neural-network policies. Our results constitute a first step towards establishing a practical near-term quantum advantage in a reinforcement learning setting. Additionally, we believe that some of our design choices for variational quantum policies may also be beneficial to other models based on variational quantum circuits, such as quantum classifiers and quantum regression models.

研究动机与目标

• 设计并训练基于变分量子线路的量子策略，用于强化学习。
• 探究量子策略是否能在特定任务环境中超越经典学习器。
• 在经典基准环境中，展示量子策略相对于标准神经网络策略的实证量子优势。
• 探索适用于其他量子机器学习任务（如量子分类与回归）的设计原则。

提出的方法

• 基于专为强化学习设计的参数化量子线路，设计多种量子策略架构。
• 将量子策略梯度算法适配至端到端可微分方式，以训练这些变分量子策略。
• 采用参数偏移规则与梯度估计技术，通过量子线路评估优化策略参数。
• 在经典基准环境（如 CartPole 和 MountainCar）上测试策略性能。
• 在离散对数问题经典困难性假设下，建立量子智能体与经典多项式时间学习者之间的理论性能分离。
• 分析量子策略的结构与表达能力，以识别对更广泛量子机器学习应用有益的设计选择。

实验结果

研究问题

• RQ1 变分量子线路能否被有效用作强化学习中的策略？如何实现高效训练？
• RQ2 是否存在量子强化学习智能体可严格优于任何经典多项式时间学习者的任务环境？
• RQ3 在标准基准环境中，量子策略相较于经典神经网络策略能实现多大的实证性能提升？
• RQ4 变分量子策略中的哪些设计模式可推广至其他量子机器学习模型（如分类器或回归器）？

主要发现

• 本文在特定强化学习任务中展示了可证明的量子优势，其成立依赖于离散对数问题的经典困难性假设。
• 实证结果表明，量子策略在经典基准环境（如 CartPole 和 MountainCar）中优于标准神经网络策略。
• 所提出的量子策略训练框架成功利用量子策略梯度方法学习到有效的控制策略。
• 量子策略架构中的设计选择（如线路深度与纠缠结构）显著提升了性能，且可能推广至其他量子机器学习模型。
• 本研究为使用变分量子线路在近期实现强化学习中的量子优势提供了基础框架。