[论文解读] Quantum Machine Learning Architecture Search via Deep Reinforcement Learning

Xin Dai, Tzu-Chieh Wei+2 more|arXiv (Cornell University)|Jul 29, 2024

Quantum Computing Algorithms and Architecture被引用 4

一句话总结

本文提出了一种深度强化学习框架 RL-QMLAS，用于自动搜索适用于监督分类任务的最优变分量子线路（VQC）架构。通过使用自适应学习目标机制，该智能体在无需先验物理知识的情况下，发现了高精度、低深度的量子线路，其性能可与经典模型相媲美，且参数量显著更少。

ABSTRACT

The rapid advancement of quantum computing (QC) and machine learning (ML) has given rise to the burgeoning field of quantum machine learning (QML), aiming to capitalize on the strengths of quantum computing to propel ML forward. Despite its promise, crafting effective QML models necessitates profound expertise to strike a delicate balance between model intricacy and feasibility on Noisy Intermediate-Scale Quantum (NISQ) devices. While complex models offer robust representation capabilities, their extensive circuit depth may impede seamless execution on extant noisy quantum platforms. In this paper, we address this quandary of QML model design by employing deep reinforcement learning to explore proficient QML model architectures tailored for designated supervised learning tasks. Specifically, our methodology involves training an RL agent to devise policies that facilitate the discovery of QML models without predetermined ansatz. Furthermore, we integrate an adaptive mechanism to dynamically adjust the learning objectives, fostering continuous improvement in the agent's learning process. Through extensive numerical simulations, we illustrate the efficacy of our approach within the realm of classification tasks. Our proposed method successfully identifies VQC architectures capable of achieving high classification accuracy while minimizing gate depth. This pioneering approach not only advances the study of AI-driven quantum circuit design but also holds significant promise for enhancing performance in the NISQ era.

研究动机与目标

• 为解决在含噪声中等规模量子（NISQ）设备上设计高效量子机器学习（QML）模型的挑战，该挑战需要专家知识，并需在模型复杂度与硬件可行性之间取得平衡。
• 自动化变分量子线路（VQC）架构在监督学习任务中的设计，消除对人工设计量子线路的依赖。
• 通过在训练过程中动态调整学习目标，提升量子架构搜索的效率与可扩展性。
• 证明基于强化学习的搜索可生成高精度、浅层结构的 VQC，适用于当前的噪声量子硬件。
• 与经典模型相比，显著降低量子分类器的参数化负担，提升其实际应用价值。

提出的方法

• 该框架采用深度强化学习（RL）智能体，探索并生成构成分类任务 VQC 架构的量子门序列。
• RL 智能体通过基于分类准确率的奖励信号进行训练，其中采用自适应学习目标，动态提高所需准确率阈值，以维持学习进度。
• 架构搜索在由门类型（单量子比特旋转门和纠缠 CNOT 门）与量子比特连接性定义的离散动作空间中进行。
• 智能体的策略网络通过近端策略优化（PPO）算法进行训练，该算法是一种适用于连续与离散控制任务的稳定深度强化学习算法。
• 搜索过程避免预设的量子线路结构，从而能够发现新颖的、任务特定的电路设计。
• 该方法集成了动态奖励调整机制，可防止过早收敛，并增强对高性能架构的探索能力。

实验结果

研究问题

• RQ1 深度强化学习能否在无需先验物理知识的情况下，有效发现适用于分类任务的高性能 VQC 架构？
• RQ2 自适应学习目标机制在多大程度上改善了基于强化学习的量子架构搜索的收敛性与性能？
• RQ3 RL-QMLAS 在多大程度上能够生成浅层、低参数的 VQC，使其在准确率上达到或超越经典机器学习模型？
• RQ4 该框架在不同复杂度的数据集（如 make_classification 和 make_moons）上具有多大程度的泛化能力？
• RQ5 噪声与硬件限制对 RL 发现的电路在真实 NISQ 设备上可部署性有何影响？

主要发现

• RL-QMLAS 框架在 4 维 make_classification 数据集上成功发现的 VQC 架构，实现了 90.3% 的分类准确率，与逻辑回归和 SVM 模型性能相当。
• 在 2 维 make_moons 数据集上，量子分类器仅使用 2 个量子门即达到 100% 准确率，与使用 44 个支持向量的 SVM 性能相当。
• 与逻辑回归的 5 个参数和 SVM 的 110 个支持向量相比，该量子分类器仅需 2 个门，展现出极强的参数效率。
• 自适应学习目标机制提升了训练稳定性，使智能体在不依赖高初始目标准确率的情况下，仍能实现更高准确率。
• 该框架生成的电路结构浅显，门深度极低，适合在当前的噪声量子硬件上执行。
• 数值模拟结果证实，RL 智能体可在无需预先设计量子线路的情况下，发现有效且任务特定的 VQC 架构，显著降低对专家干预的需求。