[论文解读] Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation

Jiameng Fan, Wenchao Li|arXiv (Cornell University)|Mar 6, 2019

Gaussian Processes and Bayesian Inference参考文献 31被引用 16

一句话总结

本文提出了一种基于安全引导的深度强化学习框架，利用在线高斯过程（GP）估计将基于轨迹的安全成本建模为李雅普诺夫函数候选，从而实现可证明的稳定性，并在探索过程中减少灾难性事件。该方法显著加速了训练过程，并相比原始DDPG减少了不安全动作，使半-cheetah任务的基线性能在50,000步内达成，而DDPG则需要700,000步。

ABSTRACT

An important facet of reinforcement learning (RL) has to do with how the agent goes about exploring the environment. Traditional exploration strategies typically focus on efficiency and ignore safety. However, for practical applications, ensuring safety of the agent during exploration is crucial since performing an unsafe action or reaching an unsafe state could result in irreversible damage to the agent. The main challenge of safe exploration is that characterizing the unsafe states and actions is difficult for large continuous state or action spaces and unknown environments. In this paper, we propose a novel approach to incorporate estimations of safety to guide exploration and policy search in deep reinforcement learning. By using a cost function to capture trajectory-based safety, our key idea is to formulate the state-action value function of this safety cost as a candidate Lyapunov function and extend control-theoretic results to approximate its derivative using online Gaussian Process (GP) estimation. We show how to use these statistical models to guide the agent in unknown environments to obtain high-performance control policies with provable stability certificates.

研究动机与目标

• 解决在连续、高维状态与动作空间中深度强化学习的安全探索挑战，其中不安全动作可能导致不可逆损害。
• 开发一种无需模型的强化学习算法，以在未知环境中提供高概率的基于轨迹的安全性保障。
• 通过使用在线高斯过程对累积安全成本进行建模，将其作为李雅普诺夫函数候选，将安全性整合到策略优化中。
• 相比标准的异策略DRL方法（如DDPG），提升样本效率并减少训练过程中的灾难性事件。

提出的方法

• 将安全成本的状态-动作值函数形式化为候选李雅普诺夫函数，以实现稳定性认证。
• 使用在线高斯过程回归估计安全成本值函数的导数，提供统计不确定性边界。
• 通过在训练过程中收集的新轨迹数据（状态、动作、下一状态、奖励、安全成本）迭代更新GP模型。
• 使用联合目标优化策略，以最大化期望回报同时最小化估计的累积安全成本。
• 将GP模型中的置信区间融入策略更新，优先考虑安全探索。
• 使用固定初始安全轨迹来初始化GP模型，并通过限制数据集规模为2,000个样本以提高效率。

实验结果

研究问题

• RQ1 能否通过统计函数逼近有效建模并整合基于轨迹的安全性于深度强化学习中？
• RQ2 在线GP估计如何在未知环境中提升策略学习过程中的安全性和稳定性？
• RQ3 基于安全成本值函数导出的李雅普诺夫函数是否能导致可证明稳定且安全的策略？
• RQ4 在线GP自适应与固定GP模型相比，在长期维护安全性和性能方面表现如何？
• RQ5 该方法是否能减少复杂运动任务中训练过程中的灾难性事件数量并加速收敛？

主要发现

• 所提方法在半-cheetah任务中约在50,000步内达到基线性能，而原始DDPG则需700,000步。
• 采用在线GP的安全引导DDPG在学习过程中将训练灾难性事件（如跌倒）数量减少至零，而原始DDPG则无法避免。
• 在线GP自适应显著优于固定GP模型，固定GP变体在训练后期表现出性能退化。
• 与原始DDPG相比，该方法在相同运行时间内实现了更高的累积回报和更低的安全成本。
• 初始安全轨迹的使用提高了早期GP估计的可靠性，并有助于从训练初期即实现稳定学习。
• 通过在策略优化过程中利用GP模型的统计不确定性，该框架提供了高概率的稳定性证书。