[论文解读] Reinforcement learning optimization of the charging of a Dicke quantum battery

Paolo Andrea Erdman, Gian Marcello Andolina+2 more|arXiv (Cornell University)|Dec 23, 2022

Advanced Thermodynamics and Statistical Mechanics被引用 6

一句话总结

本文应用深度强化学习，特别是软演员-critic算法，通过动态调控耦合强度或腔体失谐，优化Dicke量子电池的充电过程。与标准的开关协议相比，该方法显著提升了有效功（ergotropy）并改善了充电精度，即使在N = 12和N = 20系统接近满电时，仍保持集体加速优势。

ABSTRACT

Quantum batteries are energy-storing devices, governed by quantum mechanics, that promise high charging performance thanks to collective effects. Due to its experimental feasibility, the Dicke battery - which comprises $N$ two-level systems coupled to a common photon mode - is one of the most promising designs for quantum batteries. However, the chaotic nature of the model severely hinders the extractable energy (ergotropy). Here, we use reinforcement learning to optimize the charging process of a Dicke battery either by modulating the coupling strength, or the system-cavity detuning. We find that the ergotropy and quantum mechanical energy fluctuations (charging precision) can be greatly improved with respect to standard charging strategies by countering the detrimental effect of quantum chaos. Notably, the collective speedup of the charging time can be preserved even when nearly fully charging the battery.

研究动机与目标

• 为克服标准开关充电协议在多体量子电池中导致有效功低、充电精度差的局限性。
• 在解析解对大N不可解的前提下，利用机器学习开发Dicke量子电池的最优时变控制策略。
• 在最大化可提取能量（有效功）并最小化能量涨落的同时，保持集体加速优势的标度关系（∝√N）。
• 展示强化学习在优化真实希尔伯特空间维度下复杂多体量子动力学时的鲁棒性与可扩展性。

提出的方法

• 使用软演员-critic强化学习算法，发现耦合强度与腔体失谐的时变控制策略。
• 采用具有两层隐藏层（512和256个单元）的神经网络策略，将状态观测映射为控制动作。
• 实施课程学习策略：初始阶段优化能量差，随后通过S型加权函数平滑过渡至有效功差优化。
• 使用截断的Fock空间（最多5N或6N个态）模拟光子模式，超参数经调优以确保稳定性和收敛性。
• 采用对数参数化（α = exp(lₐ)）以确保训练过程中温度参数保持正值。
• 对每种系统尺寸执行5次独立训练，以评估鲁棒性，并选择表现最佳的策略进行报告。

实验结果

研究问题

• RQ1 强化学习能否发现最优时变控制协议，使Dicke量子电池的有效功显著优于标准开关策略？
• RQ2 在最大化可提取能量并最小化能量涨落的同时，充电时间的集体加速优势（∝√N）能在多大程度上得以保持？
• RQ3 所学控制策略在多次训练运行及不同系统尺寸（N=12，N=20）下是否表现出高鲁棒性？
• RQ4 从基于能量的奖励设计向基于有效功的奖励设计的过渡，是否能提升早期训练阶段的学习效率？

主要发现

• 强化学习优化的协议在与集体加速时间尺度相当的充电时间内，实现了接近全有效功（维度无关单位下接近1.0），优于标准开关协议。
• 对于N=20，优化协议的最终有效功约为0.995，表明实现了近乎最大化的能量提取。
• 与标准协议相比，能量涨落（充电精度）显著降低，5次训练运行中有效功分布的误差棒极窄，表明精度提升明显。
• 该方法表现出高度鲁棒性：5次运行的平均有效功值几乎完全一致，标准差极小，在图中几乎不可见。
• 采用课程学习策略（从能量奖励转向有效功奖励）显著提升了早期训练的收敛性，使在初始奖励稀疏条件下仍能有效学习策略。
• 在不同Fock空间截断（N_Fock = 6N和10N）下结果稳定，证实了数值模拟的收敛性与可靠性。