[论文解读] Shielded Reinforcement Learning for Hybrid Systems

Asger Horn Brorholt, Peter Gjøl Jensen+3 more|arXiv (Cornell University)|Aug 28, 2023

Adversarial Robustness in Machine LearningComputer Science参考文献 47被引用 3

一句话总结

本文提出一种基于仿真的方法，通过系统采样近似双人安全博弈，为混合马尔可夫决策过程（HMDPs）合成安全盾，实现统计安全且近似最优的强化学习。该方法优于奖励塑形和事后屏蔽，预屏蔽在工业案例研究中展现出更优的性能与更强的安全保障。

ABSTRACT

Safe and optimal controller synthesis for switched-controlled hybrid systems, which combine differential equations and discrete changes of the system's state, is known to be intricately hard. Reinforcement learning has been leveraged to construct near-optimal controllers, but their behavior is not guaranteed to be safe, even when it is encouraged by reward engineering. One way of imposing safety to a learned controller is to use a shield, which is correct by design. However, obtaining a shield for non-linear and hybrid environments is itself intractable. In this paper, we propose the construction of a shield using the so-called barbaric method, where an approximate finite representation of an underlying partition-based two-player safety game is extracted via systematically picked samples of the true transition function. While hard safety guarantees are out of reach, we experimentally demonstrate strong statistical safety guarantees with a prototype implementation and UPPAAL STRATEGO. Furthermore, we study the impact of the synthesized shield when applied as either a pre-shield (applied before learning a controller) or a post-shield (only applied after learning a controller). We experimentally demonstrate superiority of the pre-shielding approach. We apply our technique on a range of case studies, including two industrial examples, and further study post-optimization of the post-shielding approach.

研究动机与目标

• 解决具有连续与离散动态的复杂混合系统中安全且最优控制器合成的挑战。
• 通过采样近似转移关系，克服非线性与混合环境中精确屏蔽合成的不可行性。
• 证明可使用‘粗暴方法’（barbaric method）高效构建实用且统计安全的屏蔽，并与 Uppaal Stratego 集成。
• 比较预屏蔽与事后屏蔽策略，评估其对控制器最优性与安全性的影响力。
• 在真实世界工业案例研究中评估该方法，验证其鲁棒性与可扩展性。

提出的方法

• 对状态空间进行有限划分，生成连续混合系统的抽象离散表示。
• 通过系统采样系统轨迹，近似 HMDP 的真实转移函数，模拟‘粗暴方法’以实现可扩展抽象。
• 将抽象系统建模为控制器（玩家1）与环境（玩家2）之间的双人安全博弈，目标是避免不安全状态。
• 使用 Uppaal Stratego 求解双人安全博弈，合成最宽松的屏蔽策略，仅限制不安全动作。
• 将屏蔽集成于学习之前（预屏蔽）或部署期间（事后屏蔽），并通过成本与干预次数最小化进行后优化。
• 将屏蔽应用于真实世界模型，包括 DC-DC 升压转换器与油泵，以评估其安全性和性能。

实验结果

研究问题

• RQ1 能否为符号计算不可行的混合马尔可夫决策过程开发一种实用且可扩展的屏蔽合成方法？
• RQ2 在混合系统的强化学习中，预屏蔽是否相较于事后屏蔽能带来更优的控制器性能与更低的干预频率？
• RQ3 系统采样转移关系在多大程度上可提供统计安全的屏蔽，而无需精确可达性分析？
• RQ4 与基于屏蔽的安全保障相比，奖励塑形在安全保证与性能方面表现如何？
• RQ5 能否对事后屏蔽进行优化以减少干扰，同时保持安全性？其与预屏蔽相比表现如何？

主要发现

• 预屏蔽在所有测试中均显著优于事后屏蔽，在巡航控制模型上实现成本 6912，较最佳事后优化替代方案降低 39.2%。
• 通过干预最小化优化，事后屏蔽的干预次数可减少 15.3%，但成本上升 3.7%。
• 通过成本最小化后优化，成本降低 5.3%，但干预次数增加 29.1%，表明性能与安全执行之间存在权衡。
• 即使施加高达 1000 的惩罚，奖励塑形仍导致安全违规，表明其无法保证最坏情况下的安全性。
• 该方法在所有案例研究中均实现强统计安全性，包括两个工业系统，仅需中等数量样本（n=4）即可实现可靠屏蔽。
• 屏蔽合成过程显著快于符号方法，支持在复杂混合系统中实际部署。