[论文解读] Reinforcement Learning with Quantum Variational Circuits

Owen Lockwood, Mei Si|arXiv (Cornell University)|Aug 15, 2020

Quantum Computing Algorithms and Architecture参考文献 29被引用 16

一句话总结

本文提出使用量子变分线路（QVCs）来增强深度强化学习，在深度Q网络（DQN）和双DQN算法中对比纯量子与混合量子方法。提出两种新型经典到量子的数据编码方案——缩放编码与方向编码，并表明QVC在参数显著减少的情况下，性能与经典神经网络相当或更优，尤其在OpenAI Gym的CartPole和Blackjack环境中表现突出。

ABSTRACT

The development of quantum computational techniques has advanced greatly in recent years, parallel to the advancements in techniques for deep reinforcement learning. This work explores the potential for quantum computing to facilitate reinforcement learning problems. Quantum computing approaches offer important potential improvements in time and space complexity over traditional algorithms because of its ability to exploit the quantum phenomena of superposition and entanglement. Specifically, we investigate the use of quantum variational circuits, a form of quantum machine learning. We present our techniques for encoding classical data for a quantum variational circuit, we further explore pure and hybrid quantum algorithms for DQN and Double DQN. Our results indicate both hybrid and pure quantum variational circuit have the ability to solve reinforcement learning tasks with a smaller parameter space. These comparison are conducted with two OpenAI Gym environments: CartPole and Blackjack, The success of this work is indicative of a strong future relationship between quantum machine learning and deep reinforcement learning.

研究动机与目标

• 探究量子变分线路（QVCs）是否能在降低参数复杂度的前提下提升强化学习性能。
• 开发并评估用于强化学习输入的新一代经典到量子数据编码技术。
• 在DQN与双DQN框架中，对比纯QVC与混合量子-经典模型的性能。
• 评估基于QVC的强化学习在不同环境（包括CartPole与Blackjack）中的泛化性与可扩展性。
• 证明QVC在极小参数空间下解决非平凡强化学习任务的可行性。

提出的方法

• 作者使用参数化量子门实现QVC，以表示DQN与双DQN算法中的Q值函数。
• 设计两种编码方案：缩放编码适用于有界且非偏斜的浮点输入，方向编码适用于范围无限或大小无关的输入。
• QVC通过量子模拟器进行训练，使用参数移位规则计算梯度以实现优化。
• 该方法在双DQN中采用回放缓冲区与目标网络以稳定学习，与经典DQN一致。
• 在相同强化学习环境中，将量子模型与不同深度和参数数量的经典神经网络进行对比。
• 训练过程利用TensorFlow Quantum与量子线路优化，以最小化均方贝尔曼误差。

实验结果

研究问题

• RQ1 量子变分线路是否能在显著减少参数数量的情况下，实现与经典神经网络相当或更优的强化学习性能？
• RQ2 不同的经典到量子数据编码方案（缩放编码与方向编码）如何影响QVC在强化学习任务中的表现？
• RQ3 在DQN与双DQN算法中，纯QVC与混合量子-经典模型的相对性能如何？
• RQ4 混合模型中更快的收敛是否因过早收敛而导致次优策略？
• RQ5 基于QVC的强化学习在不同环境（如CartPole与Blackjack）中的泛化能力在多大程度上成立？

主要发现

• 在双DQN的CartPole任务中，纯QVC模型性能优于混合模型与经典神经网络，且参数更少。
• 混合QVC模型收敛速度优于经典网络，但有时会陷入局部最优，导致在CartPole实验中性能略逊于纯QVC。
• 在Blackjack环境中，纯QVC与混合QVC的性能均与参数量为1,250的经典网络相当，但仅使用33个参数，表明具有极高的样本效率。
• 缩放编码方案在将有界、非偏斜输入映射到量子态方面表现有效，支持在各类环境中实现稳定训练。
• 方向编码方案专为大小无关的输入设计，支持对多样化输入类型的更广泛泛化。
• 结果表明，QVC在低参数场景下可能具备优于经典神经网络的表征能力。