[论文解读] Stability-certified reinforcement learning: A control-theoretic perspective

Ming Jin, Javad Lavaei|arXiv (Cornell University)|Oct 26, 2018

Reinforcement Learning in Robotics参考文献 46被引用 23

一句话总结

该论文提出了一种控制理论框架，通过将神经网络策略的输入-输出梯度约束于半定规划（SDP）可行性问题中，实现了对非线性动力系统中强化学习（RL）策略稳定性的认证。该方法能够为广泛类别的控制器提供鲁棒的、有限的 $L_2$ 增益稳定性认证，显著扩展了稳定策略的集合，超越了以往方法的限制，并在去中心化飞行编队与电力系统频率调节任务中实现了稳定且高性能的RL学习。

ABSTRACT

We investigate the important problem of certifying stability of reinforcement learning policies when interconnected with nonlinear dynamical systems. We show that by regulating the input-output gradients of policies, strong guarantees of robust stability can be obtained based on a proposed semidefinite programming feasibility problem. The method is able to certify a large set of stabilizing controllers by exploiting problem-specific structures; furthermore, we analyze and establish its (non)conservatism. Empirical evaluations on two decentralized control tasks, namely multi-flight formation and power system frequency regulation, demonstrate that the reinforcement learning agents can have high performance within the stability-certified parameter space, and also exhibit stable learning behaviors in the long run.

研究动机与目标

• 解决在关键任务应用中，当RL策略与非线性、时变动力系统互联时，认证其稳定性的关键挑战。
• 开发一种系统化方法，提供对神经网络策略的强且可验证的稳定性保证，而无需完整的系统模型知识。
• 通过利用问题特异结构（如稀疏性与单边梯度行为）将稳定控制器的集合扩展至超越现有方法的范围。
• 通过调节策略梯度边界，确保稳定、长期的RL学习，防止因增益无界导致的性能灾难性下降。
• 在真实世界的去中心化控制任务中展示该方法的有效性与可扩展性，包括多智能体飞行编队与电网频率调节。

提出的方法

• 构建一个半定规划（SDP）可行性问题，用于认证具有有界输入-输出梯度的RL策略的有限 $L_2$ 增益稳定性。
• 定义一个策略安全集 $\mathcal{P}(\underline{\xi}, \overline{\xi})$，其中策略的偏导数被约束在指定的下界 $\underline{\xi}_{ij}$ 与上界 $\overline{\xi}_{ij}$ 范围内。
• 采用 $L_2$ 增益作为稳定性度量，确保有界输入有界输出（BIBO）稳定性，并具备对外部扰动的鲁棒性。
• 通过将非使用观测的 $\underline{\xi}_{ij} = \overline{\xi}_{ij} = 0$ 设置为稀疏结构，实现去中心化控制中的结构稀疏性，降低保守性。
• 利用训练过程中观察到的单边梯度行为来优化边界（例如 $\overline{\xi}_{ij} = -0.1l$，$\underline{\xi}_{ij} = l$），进一步扩大认证的稳定区域。
• 通过软惩罚或硬阈值处理将梯度调节集成到策略梯度RL中，以在学习过程中保持梯度有界，从而确保长期稳定性。

实验结果

研究问题

• RQ1 我们能否仅通过梯度信息，为非线性、时变动力系统中的神经网络策略提供可验证的、预防性的稳定性证书？
• RQ2 与现有基于 $L_2$-范数的方法相比，所提出的基于SDP的稳定性认证在保守性方面表现如何？
• RQ3 在去中心化系统中，结构稀疏性与单边梯度行为在多大程度上可被利用以扩大认证的稳定控制器集合？
• RQ4 在RL训练过程中调节策略梯度边界是否能带来更稳定的训练过程，并防止长期部署中的性能崩溃？
• RQ5 该方法是否能够在真实世界的去中心化控制任务（如多智能体飞行编队与电力系统频率调节）中实现高性能且稳定的RL策略？

主要发现

• 所提出的SDP可行性条件可为梯度有界的集合 $\mathcal{P}(\underline{\xi}, \overline{\xi})$ 内的所有策略认证有限 $L_2$ 增益，提供强且可验证的稳定性保证。
• 通过利用稀疏性，该方法在电力系统调节任务中将认证的Lipschitz常数提升至0.6，是标准 $L_2$-范数约束下0.3限制的两倍。
• 通过引入单边梯度行为，该方法进一步将认证的Lipschitz常数扩展至1.1，显著扩大了稳定控制器的集合。
• 在多智能体飞行编队任务中，经稳定性认证的RL策略实现了高性能，同时保持了稳定的训练过程，避免了灾难性失败。
• 在电力系统频率调节任务中，RL智能体将成本从50.8（基准控制器）降低至23.9，展示了在认证稳定性区域内优越的性能。
• 未进行梯度调节的RL训练在约500次迭代后出现性能恶化，表现为梯度无界增长；而经过调节的训练则在整个学习过程中保持了稳定且高性能的行为。