[论文解读] Using Reinforcement Learning to find Efficient Qubit Routing Policies for Deployment in Near-term Quantum Computers

Steven Herbert, Akash Sengupta|arXiv (Cornell University)|Dec 30, 2018

Quantum Computing Algorithms and Architecture被引用 14

一句话总结

本论文提出了一种具有组合动作空间的强化学习（RL）框架，用于发现适用于近期量子计算机的最优量子比特路由策略，其中通过交换门在连接受限的架构中实现两量子比特相互作用。该方法通过最小化深度开销，优于排序网络，数值结果表明其显著提升了量子线路效率。

ABSTRACT

This paper addresses the problem of qubit routing in first-generation and other near-term quantum computers. In particular, it is asserted that the qubit routing problem can be formulated as a reinforcement learning (RL) problem, and that this is sufficient, in principle, to discover the optimal qubit routing policy for any given quantum computer architecture. In order to achieve this, it is necessary to alter the conventional RL framework to allow combinatorial action space, and this represents a second contribution of this paper, which is expected to find additional application, beyond the qubit routing problem addressed herein. Numerical results are included demonstrating the advantage of the RL-trained qubit routing policy over using a sorting network.

研究动机与目标

• 为解决近期量子计算机中因量子比特连接受限而导致的量子比特路由挑战，该挑战会因必需的交换操作而增加线路深度。
• 将量子比特路由问题建模为强化学习（RL）问题，从而实现高效路由策略的自动化发现。
• 扩展传统RL框架以处理组合动作空间——具体而言，即同时选择多个不重叠的交换门——从而实现最优路由决策。
• 证明所提出的RL框架原则上能够发现任意最优路由策略，使其成为适用于多样化量子架构的通用解决方案。
• 探索使用RL训练的智能体生成监督微调数据的潜力，以实现更快的推理模型，支持直接的从状态到动作组合的映射。

提出的方法

• RL智能体在由当前量子比特布局和当前量子线路层级定义的状态空间中运行，动作空间由交互图上所有有效且不重叠的交换门组合构成。
• 状态表示通过包含未来量子线路的截断部分（例如，接下来的几层）进行扩展，使智能体能够基于长期交互模式而非仅即时奖励做出决策。
• 使用深度Q网络（DQN）近似Q值函数，通过经验回放和目标网络训练网络以稳定学习过程。
• 奖励函数被设计为惩罚线路深度的增加，以鼓励最小化深度开销，长期奖励由未来交互关系塑造。
• 动作选择过程通过将动作空间视为有效交换配置的集合而非单个交换门，来处理组合动作——即在不相交的边上同时执行交换。
• 在基准量子线路上对框架进行评估，与基于排序网络的路由方法对比深度开销和量子体积。

实验结果

研究问题

• RQ1 具有组合动作空间的强化学习能否有效发现适用于连接受限的近期量子计算机的低深度量子比特路由策略？
• RQ2 将未来线路信息纳入状态表示，与基于即时奖励的反应式方法相比，是否能显著提升路由决策的质量？
• RQ3 所提出的RL框架在多大程度上能够发现并优于现有启发式路由方法（如排序网络）的深度开销？
• RQ4 该RL框架是否具有跨不同量子计算机架构的泛化能力，还是仅限于特定交互图拓扑？
• RQ5 能否使用RL训练的智能体生成标签数据，用于监督微调，以实现通过直接状态到组合动作映射的更快推理？

主要发现

• 基于RL的路由策略相比基于排序网络的路由方法，显著降低了线路深度开销，展示了在执行量子线路方面更高的效率。
• 在状态向量中包含截断的未来线路，使智能体能够基于长期交互模式做出决策，从而优于仅依赖当前层级交互的路由选择。
• 所提出的具有组合动作空间的RL框架在原则上能够发现最优路由策略，因为它完整捕捉了量子比特路由问题的动作空间和约束条件。
• 数值结果证实，RL训练的策略相比基线方法具有更低的深度开销，这直接转化为更高的量子体积和更长的有效计算时间。
• 该框架能够从RL训练中生成标签数据（状态-动作对），可用于训练独立的监督模型以实现更快的推理，表明其具备实现实时部署的潜力。
• 该方法具有通用性，适用于任何具有明确定义交互图的量子架构，使其成为适用于多样化近期量子硬件平台的可扩展解决方案。