[论文解读] Safe Reinforcement Learning by Imagining the Near Future

Thomas, Garrett, Yuan Luo+1 more|arXiv (Cornell University)|Feb 15, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文提出了一种基于模型的安全强化学习算法——安全模型基策略优化（SMBPO），通过短时程轨迹预测对不安全轨迹施加惩罚，从而防止安全违规。该方法在模型准确性和惩罚条件满足时，理论上保证了安全性，并在连续控制任务中实现了与无模型基线方法相当的性能，同时显著减少了安全违规次数。

ABSTRACT

Safe reinforcement learning is a promising path toward applying reinforcement learning algorithms to real-world problems, where suboptimal behaviors may lead to actual negative consequences. In this work, we focus on the setting where unsafe states can be avoided by planning ahead a short time into the future. In this setting, a model-based agent with a sufficiently accurate model can avoid unsafe states. We devise a model-based algorithm that heavily penalizes unsafe trajectories, and derive guarantees that our algorithm can avoid unsafe states under certain assumptions. Experiments demonstrate that our algorithm can achieve competitive rewards with fewer safety violations in several continuous control tasks.

研究动机与目标

• 解决现实世界强化学习应用中因不安全动作导致物理或重大损害的安全探索挑战。
• 提出一种基于模型的方法，在短时程内规划，提前预判安全违规。
• 在模型准确性和惩罚幅度足够大的假设下，理论上保证避免进入不安全状态。
• 相比现有无模型基安全强化学习方法，改善样本效率与安全性的权衡。
• 在机器人、医疗和自动驾驶系统等安全至关重要的实际部署场景中实现可行应用。

提出的方法

• 利用学习到的动力学模型生成短时程的虚拟轨迹，用于策略优化。
• 在奖励函数中引入安全惩罚项，其大小与在预测时域内达到不安全状态的可能性成正比。
• 推导出惩罚系数 C 的理论边界，确保在模型足够准确时实现安全性。
• 采用基于模型的策略优化方法，使用包含安全惩罚的修改后回报，以抑制不安全轨迹。
• 采用信任区域更新策略，稳定策略学习，防止出现大幅且不安全的策略更新。
• 利用模型集成预测结果，提升轨迹滚动过程中的不确定性估计与鲁棒性。

实验结果

研究问题

• RQ1 基于模型的强化学习算法是否仅通过预测未来几个时间步，就能保证避免不安全状态？
• RQ2 在模型准确性的假设下，确保安全所需的最小惩罚幅度是多少？
• RQ3 安全惩罚如何影响连续控制任务中的学习速度和最终性能？
• RQ4 与无模型基安全强化学习方法相比，短时程规划是否能在安全违规次数和样本效率方面表现更优？
• RQ5 当动力学模型不完美时，理论上的安全保证在实践中是否依然成立？

主要发现

• 所提出的 SMBPO 算法在获得具有竞争力的累积回报的同时，相比最先进的无模型基安全强化学习方法，显著减少了安全违规次数。
• 实验表明，增大惩罚系数 C 可减少安全违规，尽管学习速度变慢，验证了理论上的权衡关系。
• 该算法在 Ant、Half-Cheetah 和 Walker2d 等连续控制环境中，即使模型并非完全准确，也能成功避免不安全状态。
• 在动力学模型在短预测时域内足够准确的假设下，理论安全保证成立。
• 与无模型基线相比，SMBPO 在高安全约束环境中表现出更优的样本效率。
• 消融实验表明，安全惩罚项对减少违规至关重要；若移除该惩罚，性能将退化为标准强化学习算法，且安全成本显著升高。