[论文解读] Self-Correcting Quantum Many-Body Control using Reinforcement Learning with Tensor Networks

Friederike Metz, Marin Bukov|arXiv (Cornell University)|Jan 27, 2022

Quantum many-body systems被引用 4

一句话总结

本文提出了一种利用矩阵乘积态（MPS）的强化学习框架，实现了对量子多体系统的高效、可扩展控制。通过使用张量网络（QMPS）同时表示量子态和强化学习智能体的策略，该方法实现了与系统尺寸呈线性 scaling 的性能，使得控制比以往使用纯神经网络更大的一维系统成为可能，同时在动态环境中表现出对噪声的鲁棒性及自我校正能力。

ABSTRACT

Quantum many-body control is a central milestone en route to harnessing quantum technologies. However, the exponential growth of the Hilbert space dimension with the number of qubits makes it challenging to classically simulate quantum many-body systems and consequently, to devise reliable and robust optimal control protocols. Here, we present a novel framework for efficiently controlling quantum many-body systems based on reinforcement learning (RL). We tackle the quantum control problem by leveraging matrix product states (i) for representing the many-body state and, (ii) as part of the trainable machine learning architecture for our RL agent. The framework is applied to prepare ground states of the quantum Ising chain, including states in the critical region. It allows us to control systems far larger than neural-network-only architectures permit, while retaining the advantages of deep learning algorithms, such as generalizability and trainable robustness to noise. In particular, we demonstrate that RL agents are capable of finding universal controls, of learning how to optimally steer previously unseen many-body states, and of adapting control protocols on-the-fly when the quantum dynamics is subject to stochastic perturbations. Furthermore, we map the QMPS framework to a hybrid quantum-classical algorithm that can be performed on noisy intermediate-scale quantum devices and test it under the presence of experimentally relevant sources of noise.

研究动机与目标

• 为解决因希尔伯特空间增长导致的模拟与控制量子多体系统的指数级扩展挑战。
• 开发一种能够控制大型一维量子系统的强化学习智能体，其规模超出精确对角化方法的范围。
• 将矩阵乘积态（MPS）集成到强化学习架构中，以实现高效、可扩展的策略学习。
• 展示控制协议在随机噪声和相干门误差下的鲁棒性。
• 将该框架映射为适用于NISQ设备的混合量子-经典算法。

提出的方法

• 使用矩阵乘积态（MPS）表示量子态，从而实现对具有面积律纠缠的一维系统的高效模拟。
• 强化学习智能体的策略通过混合MPS-神经网络架构（QMPS）实现，其中MPS结构编码了状态-动作值函数。
• 该框架采用策略梯度强化学习，Q值通过可微分的MPS表示计算，支持通过张量网络进行反向传播。
• 该方法可在高达128量子比特的系统上进行训练，远超典型深度强化学习在量子控制中的极限。
• 设计了混合量子-经典实现方式，其中量子线路用于采样保真度和梯度，而经典网络用于更新策略。
• 在包括比特翻转、幅度/相位阻尼以及相干门误差在内的现实噪声模型下对框架进行了测试。

实验结果

研究问题

• RQ1 在MPS上训练的强化学习智能体是否能够控制比传统深度学习方法更大的量子多体系统？
• RQ2 QMPS架构在制备伊辛模型不同相变区域的基态时，是否能保持高保真度和泛化能力？
• RQ3 强化学习智能体在面对量子动力学中的随机扰动或噪声时，如何适应并实现自我校正？
• RQ4 QMPS框架在具有现实噪声模型的噪声中等规模含噪声（NISQ）设备上，能在多大程度上实现？
• RQ5 与标准神经网络相比，强化学习策略架构中使用张量网络是否能提升对噪声的鲁棒性？

主要发现

• QMPS框架成功制备了一维横向场和混合场伊辛模型的基态，包括临界区域，系统规模达128量子比特时保真度超过0.99。
• 该方法在每次保真度评估仅使用500次测量采样时，即实现接近100%的成功率，表现出对采样噪声的鲁棒性。
• 在幅度和相位阻尼噪声下，智能体保持高性能，当误差率低于10⁻³时，成功率接近100%。
• 在相干门误差下，QMPS智能体实现了协议的自我校正，当旋转角度噪声的标准差σ < 0.5时，成功率保持稳定。
• 当张量网络的键维数χ=2时，截断QMPS性能显著劣于χ=4，证实了张量网络中足够的纠缠容量是必要的。
• 混合量子-经典实现使在NISQ设备上可行训练成为可能，在理想条件下性能在10⁴次采样内收敛。