[论文解读] Towards practical reinforcement learning for tokamak magnetic control

Brendan Tracey, Andrea Michi+16 more|arXiv (Cornell University)|Jul 21, 2023

Magnetic confinement fusion research被引用 6

一句话总结

本文提出改进的强化学习（RL）算法，用于托卡马克聚变反应堆的实时磁控，提升了控制精度并缩短了学习时间。通过基于先前工作的智能体架构与训练流程优化，该方法在TCV托卡马克装置上实现了高达65%的等离子体形状精度提升、稳态电流偏差降低，以及训练速度提升3倍，验证了其在聚变能研究中的实用性。

ABSTRACT

Reinforcement learning (RL) has shown promising results for real-time control systems, including the domain of plasma magnetic control. However, there are still significant drawbacks compared to traditional feedback control approaches for magnetic confinement. In this work, we address key drawbacks of the RL method; achieving higher control accuracy for desired plasma properties, reducing the steady-state error, and decreasing the required time to learn new tasks. We build on top of \cite{degrave2022magnetic}, and present algorithmic improvements to the agent architecture and training procedure. We present simulation results that show up to 65\% improvement in shape accuracy, achieve substantial reduction in the long-term bias of the plasma current, and additionally reduce the training time required to learn new tasks by a factor of 3 or more. We present new experiments using the upgraded RL-based controllers on the TCV tokamak, which validate the simulation results achieved, and point the way towards routinely achieving accurate discharges using the RL approach.

研究动机与目标

• 解决先前基于RL的托卡马克控制中的关键局限，包括形状精度差、稳态误差高以及训练时间长的问题。
• 提升RL在聚变能研究中实时等离子体控制的可扩展性与实用性。
• 通过更快的策略学习与增强的鲁棒性，实现对新等离子体场景的快速适应。
• 在TCV托卡马克上验证改进的RL框架的有效性，弥合仿真与实际部署之间的鸿沟。
• 证明RL在复杂等离子体构型下可实现与传统反馈控制方法相当或更优的性能。

提出的方法

• 优化智能体架构，以更好地捕捉长期依赖关系，并提升在等离子体控制任务中的策略泛化能力。
• 在训练过程中引入分段训练（episode chunking），通过在多个等离子体形状配置上并行探索，加速学习过程。
• 采用分阶段课程学习（curriculum learning），从更简单的等离子体形状开始，逐步增加复杂度。
• 优化奖励函数，以减少稀疏反馈问题，并提升训练过程中的信噪比。
• 利用迁移学习技术，在相似的等离子体场景间微调策略，降低样本复杂度。
• 将训练好的RL策略集成到TCV托卡马克的实际实时控制系统中，以磁测量作为输入，输出为线圈电流指令。

Figure 1 : A simplified set of references (desired plasma configurations) for the showcase_xpoint task. Time (measured from the start of the discharge) and the plasma current ( $I_{p}$ ) are displayed above each plasma shape. X-points marked with red " X ". The limit point is displayed in orange . F

实验结果

研究问题

• RQ1 改进的RL算法是否能在托卡马克控制中实现比先前RL方法更高的等离子体形状精度？
• RQ2 新的训练流程在多大程度上可减少等离子体电流与位置的稳态误差？
• RQ3 与基线方法相比，增强的RL框架在学习新等离子体控制任务时能快多少？
• RQ4 改进的RL策略是否能在包括高度拉长和雪花状等复杂构型在内的多样化等离子体配置中实现泛化？
• RQ5 基于RL的控制器是否能在TCV托卡马克的真实实验中实现稳定、精确的控制？

主要发现

• 在仿真中，改进的RL方法相比基线方法，等离子体形状精度最高提升65%。
• 等离子体电流的长期偏差显著降低，表明稳态控制性能得到明显改善。
• 通过优化训练流程，学习新控制任务的训练时间减少了三倍或以上。
• 在真实TCV实验中，RL控制器成功稳定了包括雪花状和水滴状在内的复杂等离子体构型。
• 仿真结果在实际TCV托卡马克上得到验证，证明了基于RL的控制系统的实际可行性。
• 该方法在多样化等离子体场景中表现出强大的泛化能力，支持为新实验计划快速部署。

(a) Plot depicting the impact of the good and bad reference values on reward component values. Note that the bad reference points correspond to a reward of 0.1.