[论文解读] Penalized Proximal Policy Optimization for Safe Reinforcement Learning

Linrui Zhang, Li Shen+5 more|arXiv (Cornell University)|May 24, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

本文提出惩罚近端策略优化（P3O），一种安全强化学习算法，通过使用精确罚函数将约束策略优化重新表述为等价的无约束问题，并将PPO的裁剪代理目标扩展以处理安全约束。P3O在单约束与多约束、以及多智能体环境中的奖励最大化和约束满足方面均表现出色，相较于最先进方法，展现出更高的样本效率和可扩展性。

ABSTRACT

Safe reinforcement learning aims to learn the optimal policy while satisfying safety constraints, which is essential in real-world applications. However, current algorithms still struggle for efficient policy updates with hard constraint satisfaction. In this paper, we propose Penalized Proximal Policy Optimization (P3O), which solves the cumbersome constrained policy iteration via a single minimization of an equivalent unconstrained problem. Specifically, P3O utilizes a simple-yet-effective penalty function to eliminate cost constraints and removes the trust-region constraint by the clipped surrogate objective. We theoretically prove the exactness of the proposed method with a finite penalty factor and provide a worst-case analysis for approximate error when evaluated on sample trajectories. Moreover, we extend P3O to more challenging multi-constraint and multi-agent scenarios which are less studied in previous work. Extensive experiments show that P3O outperforms state-of-the-art algorithms with respect to both reward improvement and constraint satisfaction on a set of constrained locomotive tasks.

研究动机与目标

• 为解决现有约束强化学习算法的局限性，例如依赖信任区域、海森矩阵求逆以及不可行策略恢复问题。
• 开发一种安全强化学习方法，确保在有限罚因子下精确满足约束条件，避免二次近似。
• 在无需内层优化的情况下，实现多约束与多智能体场景下的可扩展、样本高效且稳定的训练。
• 提供对惩罚公式精确性的理论保证，以及罚因子的实际调优策略。
• 在奖励与约束满足方面，通过实证验证P3O优于最先进安全强化学习算法。

提出的方法

• 通过精确罚函数将约束马尔可夫决策过程（CMDPs）重构为等价的无约束优化问题，消除对信任区域或海森矩阵求逆的需求。
• 为奖励项与成本项引入裁剪代理目标，实现无需信任区域约束的稳定策略更新。
• 采用固定或自适应调优的罚因子以平衡奖励最大化与约束满足，理论证明在罚因子足够大时可实现精确性。
• 通过在损失函数中简单添加罚项，将方法扩展至多约束与多智能体设置，保持可扩展性。
• 应用优势归一化与自适应罚因子调度策略，以在多样化环境与约束阈值下稳定训练。
• 在多智能体设置中支持集中式与去中心化训练，集中式评论者可进一步提升性能。

实验结果

研究问题

• RQ1 精确罚函数重构是否可消除约束策略优化中对信任区域约束与海森矩阵求逆的需求？
• RQ2 PPO中的裁剪代理目标如何扩展以处理CMDPs中的奖励与成本目标？
• RQ3 有限罚因子是否足以实现安全强化学习中的精确约束满足？如何有效调优？
• RQ4 所提方法是否可在不增加计算复杂度的前提下扩展至多约束与多智能体环境？
• RQ5 P3O在奖励、约束满足与样本效率方面与最先进安全强化学习算法相比表现如何？

主要发现

• P3O在所有评估环境中均实现更高的累积回报与约束满足性能，优于PPO、CPO与PPO-Lagrangian。
• 该算法精确收敛至成本上限（如cost1为25，cost2为20），证明了无超调的精确约束处理能力。
• P3O在广泛罚因子范围内保持稳定性能，固定罚因子在不同任务中均产生一致结果。
• 在多约束场景中，P3O能同时满足两项约束，而单约束基线方法则无法控制被忽略的约束。
• 在多智能体设置中，MAP3O在严格遵守碰撞约束的同时提升全局回报，集中式评论者进一步增强性能与约束遵守程度。
• P3O对任意初始策略具有鲁棒性，无需为不可行策略额外执行恢复步骤，确保从任意初始化均能保持一致训练。