[论文解读] State-wise Constrained Policy Optimization

Weiye Zhao, Rui Chen+3 more|arXiv (Cornell University)|Jun 21, 2023

Reinforcement Learning in RoboticsComputer Science被引用 3

一句话总结

本文提出状态约束策略优化（SCPO），一种新型策略梯度强化学习方法，可在高维机器人控制中强制执行硬性、即时（状态级）安全约束。通过引入最大马尔可夫决策过程（MMDP）框架，SCPO在理论上限制了最坏情况下的安全违规和性能退化，实现了在神经网络策略下行走与避障任务中的最先进安全-性能权衡。

ABSTRACT

Reinforcement Learning (RL) algorithms have shown tremendous success in simulation environments, but their application to real-world problems faces significant challenges, with safety being a major concern. In particular, enforcing state-wise constraints is essential for many challenging tasks such as autonomous driving and robot manipulation. However, existing safe RL algorithms under the framework of Constrained Markov Decision Process (CMDP) do not consider state-wise constraints. To address this gap, we propose State-wise Constrained Policy Optimization (SCPO), the first general-purpose policy search algorithm for state-wise constrained reinforcement learning. SCPO provides guarantees for state-wise constraint satisfaction in expectation. In particular, we introduce the framework of Maximum Markov Decision Process, and prove that the worst-case safety violation is bounded under SCPO. We demonstrate the effectiveness of our approach on training neural network policies for extensive robot locomotion tasks, where the agent must satisfy a variety of state-wise safety constraints. Our results show that SCPO significantly outperforms existing methods and can handle state-wise constraints in high-dimensional robotics tasks.

研究动机与目标

• 为解决现实世界强化学习应用中缺乏安全保证的问题，特别是针对碰撞避免等即时（状态级）约束。
• 开发一种通用策略优化算法，确保在不依赖已知环境模型的前提下，以期望方式满足状态级约束。
• 在训练过程中提供最坏情况安全违规和性能退化程度的理论边界。
• 在高维控制任务中，实现对严格、实时安全约束下深度神经网络策略的有效训练。

提出的方法

• 引入最大马尔可夫决策过程（MMDP）框架，以建模不同策略下最坏情况成本的累积。
• 推导出两个策略最大成本差异的理论边界，将信任区域策略优化原理扩展至状态级约束。
• 设计一种策略改进步骤，同时保证性能退化有界并强制执行状态级成本约束。
• 通过一种约束优化过程近似理论合理的更新，确保训练期间的安全性。
• 采用类似信任区域的更新方式，并引入最大约束违规的惩罚项，确保策略更新的保守性。
• 采用对偶优化方法平衡奖励最大化与约束满足，同时自适应调整成本上限。

实验结果

研究问题

• RQ1 在无模型设置下，学习状态级约束策略时，能否提供最坏情况安全违规和性能退化程度的理论保证？
• RQ2 如何将现有信任区域策略优化框架扩展，以强制执行硬性、即时约束，而非累积或概率性约束？
• RQ3 在状态级约束下，最大成本与策略改进之间的理论关系是什么？
• RQ4 能否设计一种实用算法，在高维机器人控制中同时实现高性能与强安全保证？
• RQ5 在复杂任务中，所提方法与现有安全强化学习基线相比，在安全性、样本效率和最终性能方面表现如何？

主要发现

• 在 Drone-3DHazard-1 环境中，SCPO 实现了最低的平均约束违规（ρc ≈ 0.0002），显著优于 TRPO-Lagrangian（0.0007）和 PCPO（0.0015）。
• 在 Ant-Hazard-8 任务中，SCPO 在保持极低最大成本（Mc ≈ 0.0327）的同时实现了高回报（Jr ≈ 2.5873），优于 CPO（Mc = 0.1330）和 PCPO（Mc = 0.1046）。
• 在 Swimmer-Hazard-8 任务中，SCPO 实现了最高回报（Jr = 2.6317）与最低约束违规（ρc = 0.0012），优于 TRPO（Jr = 2.6322，ρc = 0.0067）和 CPO（Jr = 2.6335，ρc = 0.0045）。
• SCPO 在所有测试环境（Point-Hazard、Swimmer-Hazard、Drone-3DHazard、Ant-Hazard、Walker-Hazard）中均一致降低了约束违规，优于所有基线方法。
• 该算法在具有数千个策略参数的高维控制任务中表现出鲁棒性，无需依赖动力学模型先验知识即可维持安全性。