[论文解读] Smoothing Policies and Safe Policy Gradients

Matteo Papini, Matteo Pirotta+1 more|arXiv (Cornell University)|May 8, 2019

Energy, Environment, and Transportation Policies被引用 5

一句话总结

本文提出了一种新颖的策略梯度算法——平滑策略与安全策略梯度（SPG），通过自适应调节步长和批量大小，在安全约束下保证性能的单调提升。通过在随机优化框架下分析策略梯度并推导出紧致的方差上界，SPG 确保智能体在连续控制任务（如高斯策略）中以高概率不会出现性能退化。

ABSTRACT

Policy Gradient (PG) algorithms are among the best candidates for the much-anticipated applications of reinforcement learning to real-world control tasks, such as robotics. However, the trial-and-error nature of these methods poses safety issues whenever the learning process itself must be performed on a physical system or involves any form of human-computer interaction. In this paper, we address a specific safety formulation, where both goals and dangers are encoded in a scalar reward signal and the learning agent is constrained to never worsen its performance, measured as the expected sum of rewards. By studying actor-only policy gradient from a stochastic optimization perspective, we establish improvement guarantees for a wide class of parametric policies, generalizing existing results on Gaussian policies. This, together with novel upper bounds on the variance of policy gradient estimators, allows us to identify meta-parameter schedules that guarantee monotonic improvement with high probability. The two key meta-parameters are the step size of the parameter updates and the batch size of the gradient estimates. Through a joint, adaptive selection of these meta-parameters, we obtain a policy gradient algorithm with monotonic improvement guarantees.

研究动机与目标

• 通过确保智能体在在线训练过程中从不出现性能退化，解决强化学习中的安全性问题。
• 将单调改进保证推广至更广泛的参数化策略类别，而不仅限于高斯策略。
• 推导出策略梯度估计器方差的新上界，以提升稳定性和收敛性。
• 在现实世界控制任务中实现安全探索，避免因试错学习导致性能下降。
• 提供一种实用的算法，通过自适应调节步长和批量大小，确保以高概率实现单调改进。

提出的方法

• 该方法将策略梯度更新形式化为一个随机优化问题，利用策略梯度的光滑性和集中性质。
• 引入里程碑约束，根据回报均值和方差的经验估计动态调整目标性能阈值。
• 利用基于回报估计的霍夫丁型不等式导出的置信区间，自适应选择批量大小和步长。
• 提出一种新颖的策略梯度估计器方差上界，其依赖于策略的光滑性及回报范围。
• 更新规则结合固定步长与自适应批量大小，其中批量大小持续增长直至梯度估计误差足够小。
• 通过经验均值和置信区间监控性能，仅在改进具有统计保证时才执行更新。

实验结果

研究问题

• RQ1 在防止性能退化的安全约束下，能否在策略梯度方法中保证单调性能提升？
• RQ2 如何对策略梯度估计器的方差进行上界约束，以实现可靠的改进保证？
• RQ3 何种自适应的步长与批量大小调度策略可确保在实践中以高概率实现单调改进？
• RQ4 理论上的改进保证能否超越高斯策略，推广至更广泛的参数化策略类别？
• RQ5 在现实世界的强化学习应用中，如何在不依赖外部安全信号或人类示范的情况下实现安全探索？

主要发现

• SPG 算法通过基于回报估计置信区间的自适应调节步长与批量大小，以高概率保证单调改进。
• 该方法对广泛参数化策略类别实现了理论上的改进保证，推广了以往仅限于高斯策略的研究结果。
• 推导出策略梯度估计器方差的新上界，其依赖于策略的光滑性与奖励范围，从而实现更紧致的置信区间。
• 在 LQR 和 Cart-Pole 任务上的实验结果表明，SPG 在所有回合中均保持或提升性能，即使在存在噪声梯度估计的情况下也未出现退化。
• 自适应批量大小调度确保梯度估计误差始终低于阈值，这对维持改进保证至关重要。
• 里程碑约束动态调整性能目标，使算法能够在避免性能下降的前提下安全探索。