[论文解读] Reinforcement Learning to Autonomously Prepare Floquet-Engineered States: Inverting the Quantum Kapitza Oscillator

Marin Bukov|arXiv (Cornell University)|Aug 27, 2018

Neural Networks and Reservoir Computing被引用 1

一句话总结

该论文表明，无模型强化学习（Q-learning）可在强驱动的量子Kapitza振子中自主准备出稳定的倒置态——即使在存在噪声且对系统毫无先验知识的情况下，也仅需几次抖动周期即可实现控制。该方法利用周期内（微运动）动力学，相较于中等驱动频率下的传统闪烁控制方法表现更优。

ABSTRACT

I demonstrate the potential of reinforcement learning (RL) to prepare quantum states of strongly periodically driven non-linear single-particle models. The ability of Q-Learning to control systems far away from equilibrium is exhibited by steering the quantum Kapitza oscillator to the Floquet-engineered stable inverted position in the presence of a strong periodic drive within several shaking cycles. The study reveals the potential of the intra-period (micromotion) dynamics, often neglected in Floquet engineering, to take advantage over pure stroboscopic control at moderate drive frequencies. Without any knowledge about the underlying physical system, the algorithm is capable of learning solely from tried protocols and directly from simulated noisy quantum measurement data, and is stable to noise in the initial state, and sources of random failure events in the control sequence. Model-free RL can provide new insights into automating experimental setups for out-of-equilibrium systems undergoing complex dynamics, with potential applications in quantum information, quantum optics, ultracold atoms, trapped ions, and condensed matter.

研究动机与目标

• 开发一种在强驱动、非线性单体系统中制备非平衡量子态的控制策略。
• 探究无模型强化学习是否能在不了解系统动力学先验知识的情况下，学习到有效的控制协议。
• 评估周期内（微运动）动力学在控制性能上相较于标准闪烁控制方法的提升作用。
• 评估对初始态噪声及控制序列中随机故障事件的鲁棒性。
• 实现对非平衡量子系统的自主、数据驱动控制，适用于超冷原子、囚禁离子和量子信息等应用。

提出的方法

• 使用模拟的含噪声量子测量数据作为奖励信号，训练无模型Q-learning算法。
• 算法通过与量子系统试错交互直接学习控制协议，无需依赖系统模型。
• 控制动作在周期内时间尺度上施加，捕捉微运动动力学，而非仅关注闪烁平均值。
• 该方法在微运动效应不可忽略且可被利用的中等驱动频率下运行。
• 通过在训练过程中引入初始态噪声和控制序列中的随机故障事件，测试其鲁棒性。
• 学习过程完全端到端，仅依赖于观测到的测量结果和反馈。

实验结果

研究问题

• RQ1 强化学习是否能在不了解系统先验知识的情况下，自主在驱动的量子Kapitza振子中制备稳定的倒置态？
• RQ2 与闪烁控制相比，引入周期内动力学如何提升控制性能？
• RQ3 基于强化学习的控制在多大程度上对初始量子态的噪声和控制序列中的随机故障具有鲁棒性？
• RQ4 强化学习能否在强驱动量子系统中有效从含噪声的模拟测量数据中学习？
• RQ5 在中等驱动频率下，利用微运动动力学在Floquet工程中能带来多大的性能提升？

主要发现

• Q-learning智能体仅在几次抖动周期内便成功将量子Kapitza振子引导至稳定的倒置位置，展现出快速而高效的控制能力。
• 通过利用中等驱动频率下的周期内微运动动力学，该算法在控制性能上优于闪烁方法。
• 该方法对初始态噪声和控制序列中的随机故障事件保持鲁棒，表明其具有实际可行性。
• 智能体仅从模拟的含噪声测量数据中学习到有效的控制协议，无需了解底层哈密顿量或系统模型。
• 结果表明，通常在标准Floquet工程中被忽略的微运动动力学，可被作为控制资源加以利用。
• 无模型强化学习为自动化处理非平衡量子系统中的复杂控制任务提供了可行路径。