[论文解读] Playing Atari with Hybrid Quantum-Classical Reinforcement Learning

Owen Lockwood, Mei Si|arXiv (Cornell University)|Jul 8, 2021

Quantum Computing Algorithms and Architecture参考文献 50被引用 15

一句话总结

本文提出了一种混合量子-经典强化学习框架，利用神经网络作为学习数据编码器，将高维Atari游戏画面（28,224像素）映射为量子态，输入到量子变分电路（QVC）中，并集成到双深度Q网络（Double Deep Q-Networks）中。尽管该方法具有创新性，但其在Breakout和Pong环境中均未能成功学习，性能低于经典DQN模型，表明当前混合系统在复杂Atari环境中的表达能力仍显不足。

ABSTRACT

Despite the successes of recent works in quantum reinforcement learning, there are still severe limitations on its applications due to the challenge of encoding large observation spaces into quantum systems. To address this challenge, we propose using a neural network as a data encoder, with the Atari games as our testbed. Specifically, the neural network converts the pixel input from the games to quantum data for a Quantum Variational Circuit (QVC); this hybrid model is then used as a function approximator in the Double Deep Q Networks algorithm. We explore a number of variations of this algorithm and find that our proposed hybrid models do not achieve meaningful results on two Atari games - Breakout and Pong. We suspect this is due to the significantly reduced sizes of the hybrid quantum-classical systems.

研究动机与目标

• 为解决将大观测空间（如Atari游戏画面）编码到量子系统中的挑战，该方法目前无法通过标准编码方式实现。
• 探究基于学习型神经网络的数据编码是否能够使量子强化学习在Atari等大规模基准任务上实现。
• 评估混合量子-经典智能体在Atari环境（Breakout和Pong）中的性能，并与经典基线模型进行比较。
• 确定在当前NISQ时代量子硬件约束下，量子函数逼近优势是否能在高维控制任务中显现。

提出的方法

• 使用卷积神经网络（CNN）作为可微分数据编码器，将Atari游戏的原始像素观测映射为量子变分电路（QVC）的量子操作。
• 采用双深度Q网络（DQN）框架，其中Q值函数由混合量子-经典模型近似，QVC作为函数逼近器。
• 应用带变分参数的参数化量子电路（QVC），通过策略梯度方法进行训练，使用TensorFlow Quantum在NISQ设备上进行仿真。
• 实现混合训练流程，将DQN损失的梯度反向传播通过神经编码器，以同时更新经典和量子参数。
• 探索多种模型变体，包括不同QVC深度和编码器容量，测试其在Breakout和Pong上的性能表现。
• 采用固定观测空间大小为84×84×4帧（28,224维），通过在单个量子比特上学习旋转的方式将每帧编码为量子态。

实验结果

研究问题

• RQ1 学习型神经网络编码器是否能有效将高维Atari游戏状态映射为适合强化学习的量子表示？
• RQ2 基于QVC的函数逼近器的混合量子-经典DQN智能体是否在Breakout和Pong等Atari游戏中优于经典DQN智能体？
• RQ3 模型规模与表达能力对混合量子-经典强化学习智能体在复杂环境中的学习性能有何影响？
• RQ4 当前混合QRL模型在大规模基准测试中性能受限，是否因缺乏数据重加载或振幅编码机制？

主要发现

• 混合量子-经典智能体在Breakout和Pong任务中持续未能学习有效策略，其平均回报显著低于经典DQN基线模型。
• 表现最佳的混合模型在Breakout上平均回报约为15，在Pong上约为10，而经典DQN的平均回报分别为250和200。
• 即使参数量减少约100倍，混合智能体仍无收敛或策略改进的迹象。
• 失败原因归因于QVC规模过小、线路深度有限，导致函数逼近器表达能力不足，而非混合架构本身存在根本缺陷。
• 结果表明，尽管采用了学习编码，当前混合模型仍过于小型化且参数不足，难以应对Atari环境的复杂性。
• 本研究表明，在缺乏电路深度、量子比特数量及训练技术（如数据重加载）显著提升的情况下，量子优势在主流基准测试中尚不可实现。