[论文解读] Safe Policy Search for Lifelong Reinforcement Learning with Sublinear Regret

Haitham Bou Ammar, Rasul Tutunov+1 more|arXiv (Cornell University)|May 21, 2015

Reinforcement Learning in Robotics参考文献 25被引用 21

一句话总结

该论文提出了一种基于策略梯度的、具有次线性遗憾的安全终身强化学习算法，结合对抗性在线多任务学习与安全约束。其在 $R$ 轮内实现 $\mathcal{O}(\sqrt{R})$ 的遗憾，通过约束优化实现安全策略，相较于标准策略梯度方法和 PG-ELLA，在基准系统与四旋翼控制任务中展现出更快的学习速度和更高的安全性。

ABSTRACT

Lifelong reinforcement learning provides a promising framework for developing versatile agents that can accumulate knowledge over a lifetime of experience and rapidly learn new tasks by building upon prior knowledge. However, current lifelong learning methods exhibit non-vanishing regret as the amount of experience increases and include limitations that can lead to suboptimal or unsafe control policies. To address these issues, we develop a lifelong policy gradient learner that operates in an adversarial set- ting to learn multiple tasks online while enforcing safety constraints on the learned policies. We demonstrate, for the first time, sublinear regret for lifelong policy search, and validate our algorithm on several benchmark dynamical systems and an application to quadrotor control.

研究动机与目标

• 为解决终身强化学习中遗憾不衰减的问题，该问题随经验积累而限制性能。
• 在高维控制任务中实现安全策略学习，防止迁移过程中的灾难性失败。
• 开发一种终身策略梯度方法，在跨任务共享知识的同时保持次线性遗憾。
• 通过约束感知优化确保策略安全，避免出现无界或有害的控制策略。
• 在动态系统与四旋翼控制任务上验证该方法，展示更快的收敛速度与安全性合规性。

提出的方法

• 将终身学习形式化为具有对抗性任务排序的在线多任务学习，以最小化遗憾。
• 使用由共享基矩阵 $\bm{L}$ 和任务特定系数 $\bm{s}_{t}$ 表示的潜在知识库来参数化策略。
• 通过交替优化更新每项任务的 $\bm{L}$ 和 $\bm{s}_{t}$，确保高效的知识迁移。
• 通过将策略参数投影到可行区域来施加安全约束，防止不安全行为。
• 采用基于局部最优策略附近二阶泰勒展开的加权二次逼近的策略梯度目标。
• 理论分析证明遗憾随 $\mathcal{O}(\sqrt{R})$ 增长，在 $R$ 轮内实现次线性遗憾。

实验结果

研究问题

• RQ1 终身策略梯度学习能否在在线多任务设置中实现次线性遗憾？
• RQ2 如何在策略迁移过程中有效施加安全约束，以防止灾难性失败？
• RQ3 共享的潜在表征能否实现跨多样化任务的更快收敛与更优性能？
• RQ4 与无约束 PG 和 PG-ELLA 相比，该方法在学习速度与安全性方面表现如何？
• RQ5 交替优化迭代次数对收敛性与约束遵守的影响是什么？

主要发现

• 所提方法在 $R$ 轮内实现 $\mathcal{O}(\sqrt{R})$ 的遗憾，显著优于遗憾不衰减的方法。
• 在简单质量块与倒立摆等基准系统上，该方法在初始性能与学习速度方面均优于标准 PG 和 PG-ELLA。
• 在所有约束任务中，该方法成功遵守了安全约束，而标准 PG 和 PG-ELLA 频繁违反这些约束。
• 在四旋翼控制任务中，该方法仅需一次观测即可获得安全策略，而标准 PG 和 PG-ELLA 需要 510 至 545 次观测。
• 增加交替优化迭代次数可使路径更直接地通向最优策略，提升收敛效率。
• 实验结果表明，该方法在连续多个任务中均保持高性能，同时确保安全性和次线性遗憾。