[论文解读] Symmetry reduction for deep reinforcement learning active control of chaotic spatiotemporal dynamics

Kevin Zeng, Michael D. Graham|arXiv (Cornell University)|Apr 9, 2021

Model Reduction and Neural Networks参考文献 39被引用 33

一句话总结

本文提出了一种对称性约化深度强化学习（RL），以提升在混沌时空系统中数据效率和控制有效性，以Kuramoto-Sivashinsky方程（KSE）作为测试平台。通过将状态-动作空间投影到对称性不变流形上，该方法实现了更快的学习速度，稳定了与无强迫系统相关的平衡态，并对噪声和参数变化表现出鲁棒性。

ABSTRACT

Deep reinforcement learning (RL) is a data-driven, model-free method capable of discovering complex control strategies for macroscopic objectives in high-dimensional systems, making its application towards flow control promising. Many systems of flow control interest possess symmetries that, when neglected, can significantly inhibit the learning and performance of a naive deep RL approach. Using a test-bed consisting of the Kuramoto-Sivashinsky Equation (KSE), equally spaced actuators, and a goal of minimizing dissipation and power cost, we demonstrate that by moving the deep RL problem to a symmetry-reduced space, we can alleviate limitations inherent in the naive application of deep RL. We demonstrate that symmetry-reduced deep RL yields improved data efficiency as well as improved control policy efficacy compared to policies found by naive deep RL. Interestingly, the policy learned by the the symmetry aware control agent drives the system toward an equilibrium state of the forced KSE that is connected by continuation to an equilibrium of the unforced KSE, despite having been given no explicit information regarding its existence. I.e., to achieve its goal, the RL algorithm discovers and stabilizes an equilibrium state of the system. Finally, we demonstrate that the symmetry-reduced control policy is robust to observation and actuation signal noise, as well as to system parameters it has not observed before.

研究动机与目标

• 解决朴素深度强化学习在高维、对称性混沌系统中数据效率低下和性能受限的问题。
• 探究对称性感知的强化学习是否能够发现并稳定混沌时空动力学中的平衡态。
• 通过利用系统的连续对称性和离散对称性来减小状态空间，从而提升控制策略的有效性。
• 评估对称性约化策略在噪声和未见系统参数下的鲁棒性。
• 证明对称性约化能够实现对非平凡控制策略的发现，而无需事先知晓平衡态信息。

提出的方法

• 该方法利用Kuramoto-Sivashinsky方程（KSE）的连续平移对称性和离散反射对称性，将系统的状态和动作投影到对称性约化空间中。
• 在对称性约化后的状态-动作空间中训练一个深度Q网络（DQN）智能体，以最小化时间平均耗散和控制能耗。
• 通过对称性约化通过坐标变换实现，从而消除由对称性关联的冗余动力学状态。
• 策略通过一个奖励函数进行训练，该函数对高耗散和高控制能量施加惩罚，以鼓励低耗散状态。
• 该方法未在神经网络架构中显式引入对称性约束，而是依赖于约化后的状态空间来隐式实现不变性。
• 在训练期间未遇到的观测噪声、控制噪声和参数变化下测试了鲁棒性。

实验结果

研究问题

• RQ1 在混沌时空系统中，对称性约化是否能提升深度强化学习的数据效率和控制性能？
• RQ2 对称性感知的强化学习是否能够发现并稳定受迫KSE的平衡态，该平衡态与无强迫系统平衡态相连？
• RQ3 与朴素深度强化学习相比，对称性约化策略在收敛速度和最终性能方面表现如何？
• RQ4 对称性约化策略在观测信号和控制信号存在噪声时是否具有鲁棒性？
• RQ5 该策略能否泛化到训练期间未遇到的系统参数？

主要发现

• 与朴素深度强化学习相比，对称性约化深度强化学习在控制KSE时实现了更快的收敛速度和更高的数据效率。
• 尽管未提供该状态的显式信息，对称性感知智能体仍成功稳定了与无强迫KSE平衡态相连的状态。
• 所学习的策略使时间平均耗散降低了超过50%，相较于无控制动力学，且优于朴素RL策略。
• 在10%观测噪声和10%控制噪声下，对称性约化策略仍保持有效性，表现出良好的鲁棒性。
• 该策略可泛化至训练范围外的系统参数（如强迫幅值），表明其具备强大的泛化能力。
• 该方法实现了对非平凡控制策略的发现，能够稳定系统平衡态，表明其在复杂流体动力学中具有作为发现工具的潜力。