[论文解读] Safe Model-Based Reinforcement Learning Using Robust Control Barrier Functions.

Yousef Emam, Paul Glotfelter+2 more|arXiv (Cornell University)|Oct 11, 2021

Fault Detection and Control Systems参考文献 33被引用 6

一句话总结

本文在基于模型的强化学习框架中提出了一种可微分的鲁棒控制屏障函数（RCBF）层，以确保探索过程中的安全性。通过将RCBF层直接整合到学习过程中，该方法在提升样本效率的同时保证了安全性，实验评估结果表明其有效性。

ABSTRACT

Reinforcement Learning (RL) is effective in many scenarios. However, it typically requires the exploration of a sufficiently large number of state-action pairs, some of which may be unsafe. Consequently, its application to safety-critical systems remains a challenge. Towards this end, an increasingly common approach to address safety involves the addition of a safety layer that projects the RL actions onto a safe set of actions. In turn, a challenge for such frameworks is how to effectively couple RL with the safety layer to improve the learning performance. In the context of leveraging control barrier functions for safe RL training, prior work focuses on a restricted class of barrier functions and utilizes an auxiliary neural net to account for the effects of the safety layer which inherently results in an approximation. In this paper, we frame safety as a differentiable robust-control-barrier-function layer in a model-based RL framework. As such, this approach both ensures safety and effectively guides exploration during training resulting in increased sample efficiency as demonstrated in the experiments.

研究动机与目标

• 解决安全关键应用中强化学习的不安全探索问题。
• 克服以往安全层依赖近似或辅助网络的局限性。
• 通过可微分的RCBF公式，将安全约束直接整合到学习过程中。
• 通过安全感知的策略优化引导探索，提升样本效率。
• 在不损害安全保证的前提下，实现强化学习与安全层的有效耦合。

提出的方法

• 提出一种可微分的鲁棒控制屏障函数（RCBF）层，用于在基于模型的强化学习框架中强制执行安全约束。
• 将RCBF层作为可微分组件集成到策略优化过程中，支持端到端训练。
• 采用鲁棒控制公式以考虑系统动力学中的模型不确定性与扰动。
• 采用基于模型的方法预测系统轨迹，并通过RCBF层计算安全动作投影。
• 通过直接将屏障函数整合到学习目标中，避免使用辅助神经网络。
• 通过数学公式确保在控制输入下安全集的前向不变性。

实验结果

研究问题

• RQ1 在基于模型的强化学习探索阶段，如何保证安全性？
• RQ2 可微分的RCBF层是否能在不依赖近似网络的情况下提升安全强化学习的样本效率？
• RQ3 RCBF与基于模型的强化学习的集成如何影响收敛性与安全性能？
• RQ4 对模型不确定性的鲁棒性对所学策略的稳定性和安全性有何影响？
• RQ5 与现有安全层相比，该方法在性能和安全保证方面表现如何？

主要发现

• 所提方法通过强制执行鲁棒控制屏障函数约束，在整个训练过程中确保了安全性。
• 可微分的RCBF层支持端到端训练，相比非可微分的安全层，显著提升了样本效率。
• 该方法避免了对辅助神经网络的依赖，减少了先前方法中固有的近似误差。
• 实验结果表明，在仿真环境中，该方法实现了更优的学习性能和更高的安全合规性。
• 将RCBF集成到基于模型的强化学习框架中，可实现更快的收敛速度和更可靠的安全部署。