[论文解读] Quantum Reinforcement Learning for Solving a Stochastic Frozen Lake Environment and the Impact of Quantum Architecture Choices

Theodora-Augustina Drăgan, Maureen Monnet+2 more|arXiv (Cornell University)|Dec 15, 2022

Quantum Computing Algorithms and Architecture被引用 4

一句话总结

本文提出了一种混合量子-经典近端策略优化（PPO）智能体，用参数化量子线路（PQC）替代经典神经网络，以解决一个随机的、易滑倒的4×4 Frozen Lake环境。该研究评估了多种量子线路架构，发现尽管所有PQC均表现出色——训练步数最多减少三分之一，参数量仅用经典模型的三分之一——但量子线路指标（可表达性、纠缠能力、有效维数）与强化学习性能之间并无直接相关性，表明线路设计必须通过实验确定。

ABSTRACT

Quantum reinforcement learning (QRL) models augment classical reinforcement learning schemes with quantum-enhanced kernels. Different proposals on how to construct such models empirically show a promising performance. In particular, these models might offer a reduced parameter count and shorter times to reach a solution than classical models. It is however presently unclear how these quantum-enhanced kernels as subroutines within a reinforcement learning pipeline need to be constructed to indeed result in an improved performance in comparison to classical models. In this work we exactly address this question. First, we propose a hybrid quantum-classical reinforcement learning model that solves a slippery stochastic frozen lake, an environment considerably more difficult than the deterministic frozen lake. Secondly, different quantum architectures are studied as options for this hybrid quantum-classical reinforcement learning model, all of them well-motivated by the literature. They all show very promising performances with respect to similar classical variants. We further characterize these choices by metrics that are relevant to benchmark the power of quantum circuits, such as the entanglement capability, the expressibility, and the information density of the circuits. However, we find that these typical metrics do not directly predict the performance of a QRL model.

研究动机与目标

• 开发一种混合量子-经典强化学习模型，以解决Frozen Lake环境的一个具有挑战性的随机变体。
• 评估不同参数化量子线路（PQC）架构对量子强化学习（QRL）性能的影响。
• 探究既有的量子线路指标——可表达性、纠缠能力与有效维数——是否能预测QRL性能。
• 在标准指标无法理论预测性能的前提下，为QRL中的量子线路设计提供实证指导。

提出的方法

• 实现了一种混合量子-经典PPO算法，其中策略网络被参数化量子线路（PQC）替代。
• 在具有80%概率沿目标方向移动、20%概率沿垂直方向移动的随机4×4 Frozen Lake环境中训练PPO智能体。
• 评估了六种不同的PQC架构，每种均基于文献中建议的设计，以兼顾硬件效率与问题特定子程序。
• 通过三种指标量化量子线路性能：可表达性、纠缠能力与有效维数（ED），以便与经典模型进行比较。
• 训练通过仿真完成，性能通过最大回报（MR）与训练收敛时间（TTC）进行衡量。
• 对结果进行分析，以评估不同PQC设计下量子线路指标与强化学习性能之间的相关性。

实验结果

研究问题

• RQ1 用参数化量子线路替代经典策略网络是否能提升在随机强化学习环境中的性能？
• RQ2 哪些量子线路架构在求解随机Frozen Lake环境时表现最佳？
• RQ3 标准量子线路指标——可表达性、纠缠能力与有效维数——在多大程度上能预测量子强化学习智能体的性能？
• RQ4 为何某些理论指标较低的量子线路在实践中反而优于指标更高的线路？
• RQ5 量子增强核函数是否能减少可训练参数数量并加速强化学习中的收敛？

主要发现

• 混合量子-经典PPO模型成功解决了随机4×4 Frozen Lake环境，其最大回报与经典模型相当。
• 量子增强智能体的收敛时间约为经典基线模型的三分之一。
• 量子线路将可训练参数数量减少至经典模型的约三分之一。
• 线路6在最大回报上表现最佳，同时在可表达性与有效维数上也排名第一，但所有指标与性能度量之间均无一致相关性。
• 可表达性与纠缠能力相似甚至更优的线路（如线路13）表现却不如其他线路（如线路6），表明仅靠指标无法预测性能。
• 纠缠门的位置显著影响性能，而这一因素未被三项指标所捕捉，表明存在其他未被考虑的架构设计因素。