[论文解读] Provably Efficient Safe Exploration via Primal-Dual Policy Optimization

Dong-Sheng Ding, Xiaohan Wei+3 more|arXiv (Cornell University)|Mar 1, 2020

Reinforcement Learning in Robotics参考文献 62被引用 35

一句话总结

本论文提出 OPDOP，一种乐观 primal-dual proximal policy optimization 算法，用于带线性函数近似的受约束 CMDP，在 bandit 反馈下实现 sublinear regret 和 约束违反。它为带有函数近似设定的 CMDP 提供了首个可证明高效的在线策略优化 guarantees，具备安全探索。

ABSTRACT

We study the Safe Reinforcement Learning (SRL) problem using the Constrained Markov Decision Process (CMDP) formulation in which an agent aims to maximize the expected total reward subject to a safety constraint on the expected total value of a utility function. We focus on an episodic setting with the function approximation where the Markov transition kernels have a linear structure but do not impose any additional assumptions on the sampling model. Designing SRL algorithms with provable computational and statistical efficiency is particularly challenging under this setting because of the need to incorporate both the safety constraint and the function approximation into the fundamental exploitation/exploration tradeoff. To this end, we present an \underline{O}ptimistic \underline{P}rimal-\underline{D}ual Proximal Policy \underline{OP}timization (OPDOP) algorithm where the value function is estimated by combining the least-squares policy evaluation and an additional bonus term for safe exploration. We prove that the proposed algorithm achieves an $ ilde{O}(d H^{2.5}\sqrt{T})$ regret and an $ ilde{O}(d H^{2.5}\sqrt{T})$ constraint violation, where $d$ is the dimension of the feature mapping, $H$ is the horizon of each episode, and $T$ is the total number of steps. These bounds hold when the reward/utility functions are fixed but the feedback after each episode is bandit. Our bounds depend on the capacity of the state-action space only through the dimension of the feature mapping and thus our results hold even when the number of states goes to infinity. To the best of our knowledge, we provide the first provably efficient online policy optimization algorithm for CMDP with safe exploration in the function approximation setting.

研究动机与目标

• 在一个情节化设置的 CMDP 形式下，激励在约束和未知转移下的安全强化学习（SRL）。
• 开发一个在线、样本高效的算法，在学习连续、带 bandit 反馈的同时处理安全约束。
• 给出理论保证：相对于事后最佳策略的子线性 regret 和约束违反。
• 证明上界与特征维度 d 相关而非状态空间大小，从而使无限或非常大的状态空间成为可能。

提出的方法

• 提出 OPDOP：一个乐观 primal-dual proximal policy optimization 算法，每个情节包含三个阶段：策略改进、对偶更新和策略评估。
• 使用 LM 式拉格朗日乘子方法，设对偶变量 Y，并通过镜像下降风格的分离更新进行策略改进，包含一个 KL 散度正则化项。
• 通过最小二乘时序差分（LSTD）风格更新，在价值函数估计中引入 Upper Confidence Bound（UCB）奖金以实现乐观性，指导探索。
• 使用线性函数近似估计奖励 r 和效用 g，并利用带有 UCB 奖励的 Q 与 V 函数来引导探索。
• 用投影梯度步更新对偶变量 Y，以在奖励最大化和约束满足之间取得平衡，确保从长远看可行。
• 利用 LSTD（算法 2）来估计（P_h V_{…,h+1}) 项，使用特征映射 psi 与 phi 表示线性 MDP 设置中的转移和奖励。

实验结果

研究问题

• RQ1 我们是否可以为带未知转移且具有函数近似的 CMDP 设计一个可证明高效的在线策略优化算法？
• RQ2 在带线性结构的情节化 CMDP 下，带 bandit 反馈学习时的 regret 和约束违反界是多少？
• RQ3 当安全约束函数未知且只能通过交互揭示时，如何实现安全探索？
• RQ4 边界与特征维度 d、水平 H、总步数 T 的尺度如何，且对无限状态空间是否仍然有效？
• RQ5 在受约束 RL 设置中，是否可以通过乐观的、原始对偶镜像下降方法获得可处理且可证明的保证，而无需求解器？

主要发现

• OPDOP 在 bandit 反馈下实现子线性 regret 与子线性约束违反：两者均为 Õ(d H^{2.5} sqrt(T)) 的量级。
• 界仅依赖于特征维度 d 而非可能无限的状态空间，使其能够适用于大规模或无限的状态空间。
• 首次给出在函数近似设定下具有安全探索的 CMDP 的可证明高效在线策略优化结果。
• 算法将最小二乘策略评估与额外的安全探索奖金相结合，并进行在线原始对偶镜像下降更新。
• 对偶更新在奖励最大化和约束满足之间取得平衡，确保在期望意义上的可行性与跨情节的子线性违反。