[论文解读] Quantum Policy Gradient Algorithm with Optimized Action Decoding

Nico Meyer, Daniel D. Scherer+3 more|arXiv (Cornell University)|Dec 13, 2022

Quantum Computing Algorithms and Architecture被引用 8

一句话总结

本文提出了一种针对变分量子线路（VQC）在强化学习中应用的量子策略梯度算法，采用优化的动作解码方法。通过引入全局性度量以指导量子测量结果的经典后处理，该方法显著提升了基准环境中的训练稳定性和性能，实现了在5量子比特硬件上的成功部署，且经典计算开销极低。

ABSTRACT

Quantum machine learning implemented by variational quantum circuits (VQCs) is considered a promising concept for the noisy intermediate-scale quantum computing era. Focusing on applications in quantum reinforcement learning, we propose a specific action decoding procedure for a quantum policy gradient approach. We introduce a novel quality measure that enables us to optimize the classical post-processing required for action selection, inspired by local and global quantum measurements. The resulting algorithm demonstrates a significant performance improvement in several benchmark environments. With this technique, we successfully execute a full training routine on a 5-qubit hardware device. Our method introduces only negligible classical overhead and has the potential to improve VQC-based algorithms beyond the field of quantum reinforcement learning.

研究动机与目标

• 解决基于变分量子线路（VQC）的量子强化学习（QRL）中动作解码的挑战，其中量子测量结果的经典后处理对策略性能具有决定性影响。
• 提出一种质量度量——全局性，用于量化后处理函数将量子测量结果映射到动作的有效性。
• 实现大动作空间下高效且可扩展的动作解码，克服先前方法（如RAW-VQC）的局限性。
• 通过使用基于全局性的后处理函数，提升基准强化学习环境中的训练收敛性和性能。
• 通过最小化经典计算开销并最大化策略性能，实现在5量子比特NISQ硬件上的端到端训练。

提出的方法

• 将动作解码建模为投影测量过程，分解为计算基下的量子测量，随后进行经典后处理。
• 引入全局性度量，以评估并优化后处理函数在保留测量结果间信息方面的能力。
• 提出一种构造高全局性后处理函数的流程，确保其与最优策略行为更一致。
• 在策略推理和策略梯度更新过程中使用相同的后处理函数，以保持一致性。
• 应用费舍尔信息矩阵（FIM）谱分析与有效维度分析，评估模型可训练性，并将全局性与优化动力学关联。
• 在CartPole、FrozenLake和ContextualBandits环境中验证该方法，包括在5量子比特设备上的完整硬件训练。

实验结果

研究问题

• RQ1 用于动作解码的经典后处理函数的选择，如何影响基于VQC的量子策略梯度算法的性能？
• RQ2 是否可以定义并优化一个全局性度量，以提升量子强化学习中动作解码的有效性？
• RQ3 后处理函数的高全局性在多大程度上与强化学习环境中更快的收敛速度和更高的期望奖励相关？
• RQ4 该方法是否通过在参数空间中保持费舍尔信息，降低了小规模量子模型中出现平坦盆地（barren plateaus）的风险？
• RQ5 优化后的动作解码技术是否能在NISQ硬件上高效实现，且经典计算开销极低？

主要发现

• 在CartPole、FrozenLake和ContextualBandits环境中，采用高全局性值后处理函数的策略实现了显著更快的收敛速度和更高的期望奖励。
• 观察到全局性度量与强化学习性能之间存在强烈相关性，全局后处理函数始终优于局部函数。
• 有效维度与费舍尔信息谱分析表明，高全局性函数维持了更优的参数空间几何结构，降低了平坦度，提升了可训练性。
• 对于4–10量子比特系统且电路深度增加的情况，全局性值为1的后处理函数显示出高达50%的特征值低于10⁻⁷，表明存在高度简并性与较差的优化潜力。
• 相比之下，全局后处理函数（GC = 4）在所有测试配置中均表现出可忽略的零附近特征值集中现象，低于10⁻⁷的特征值占比不足1%。
• 在5量子比特量子硬件设备上成功执行了ContextualBandits问题的完整训练流程，证明了该方法在真实NISQ环境中的可行性。