[论文解读] Reachability Constrained Reinforcement Learning

Dongjie Yu, Haitong Ma+2 more|arXiv (Cornell University)|May 16, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种新型的约束强化学习方法——可达性约束强化学习（RCRL），该方法利用哈密顿-雅可比可达性分析，识别出最大的可行集（即在其中可始终满足安全约束的最大状态子集）。通过将可行集建模为安全价值函数，并利用可达性实现自一致性，RCRL 在保证约束满足的前提下实现了局部最优策略的收敛，在 Safe-Control-Gym 和 Safety-Gym 等基准测试中，其安全性与性能均优于传统 CRL 和安全控制基线方法。

ABSTRACT

Constrained reinforcement learning (CRL) has gained significant interest recently, since safety constraints satisfaction is critical for real-world problems. However, existing CRL methods constraining discounted cumulative costs generally lack rigorous definition and guarantee of safety. In contrast, in the safe control research, safety is defined as persistently satisfying certain state constraints. Such persistent safety is possible only on a subset of the state space, called feasible set, where an optimal largest feasible set exists for a given environment. Recent studies incorporate feasible sets into CRL with energy-based methods such as control barrier function (CBF), safety index (SI), and leverage prior conservative estimations of feasible sets, which harms the performance of the learned policy. To deal with this problem, this paper proposes the reachability CRL (RCRL) method by using reachability analysis to establish the novel self-consistency condition and characterize the feasible sets. The feasible sets are represented by the safety value function, which is used as the constraint in CRL. We use the multi-time scale stochastic approximation theory to prove that the proposed algorithm converges to a local optimum, where the largest feasible set can be guaranteed. Empirical results on different benchmarks validate the learned feasible set, the policy performance, and constraint satisfaction of RCRL, compared to CRL and safe control baselines.

研究动机与目标

• 为解决传统约束强化学习（CRL）中缺乏严格安全保证的问题，其依赖于期望折扣累积成本，无法确保持续的状态约束满足。
• 克服现有安全控制方法（如 CBF 和 SI）的保守性，这些方法依赖于先验能量函数，导致可行集缩小。
• 将可达性分析整合到无模型强化学习中，以识别理论上最大的可行集，从而实现更少保守性且性能更高的策略。
• 通过可达性分析建立自一致性条件，确保安全价值函数准确反映可行集。
• 证明所提出算法可收敛至一个局部最优策略，且在整个最大可行集上持续保持安全性。

提出的方法

• 该方法引入一个安全价值函数，用于表征随时间推移的最坏情况约束违反程度，其负值水平集定义了可行集。
• 基于哈密顿-雅可比可达性分析，提出一种新颖的自一致性条件，确保安全价值函数与真实可达集保持一致。
• 通过安全价值函数将可行集嵌入 CRL 框架中，替代传统的基于成本的约束。
• 采用多时间尺度随机逼近算法联合优化策略与安全价值函数，并具备理论收敛保证。
• 使用离策略回放缓冲区和函数逼近进行算法训练，安全价值函数的更新反映基于可达性的可行性。

实验结果

研究问题

• RQ1 可达性分析能否有效集成到无模型强化学习中，以定义精确且最大的安全可行集，用于安全控制？
• RQ2 如何构建一个安全价值函数，使其负值水平集对应于可持久维持安全性的最大状态集合？
• RQ3 通过可达性分析导出的自一致性条件是否能带来比 CBF 和 SI 方法更宽松且性能更高的策略？
• RQ4 所提出的算法能否收敛至一个局部最优策略，且在整个最大可行集上保证约束满足？
• RQ5 在复杂、高维环境中，RCRL 的性能与安全性相较于标准 CRL 和安全控制基线方法表现如何？

主要发现

• RCRL 通过可达性分析成功识别出最大可行集，避免了 CBF 和 SI 等基于能量函数方法的保守性。
• RCRL 学习到的安全价值函数准确表征了可行集，实证验证显示其在状态空间投影中正确识别出负值水平集。
• 在 Safe-Control-Gym 的四旋翼任务中，RCRL 在所有评估运行中均实现 0.0% 的约束违反率，优于 SAC-CBF 和 SAC-SI。
• 在 Safety-Gym 基准测试中，RCRL 在保持完美约束满足的同时，获得了高于 CRL 基线的平均回报。
• 理论分析证实，在多时间尺度随机逼近框架下，该算法可收敛至局部最优策略，且在整个可行集上保证持续安全性。