[论文解读] PC-PG: Policy Cover Directed Exploration for Provable Policy Gradient Learning

Alekh Agarwal, Mikael Henaff+2 more|arXiv (Cornell University)|Jul 16, 2020

Reinforcement Learning in Robotics被引用 12

一句话总结

PC-PG 提出了一种可证明高效的策略梯度方法，通过使用一组策略（称为策略覆盖）来平衡探索与利用，在表格型和线性 MDP 中确保样本复杂度和运行时间复杂度为多项式级别。该方法在模型误设情况下提供了强有力的保证，包括在平均误差和分布偏移下的近似边界。

ABSTRACT

Direct policy gradient methods for reinforcement learning are a successful approach for a variety of reasons: they are model free, they directly optimize the performance metric of interest, and they allow for richly parameterized policies. Their primary drawback is that, by being local in nature, they fail to adequately explore the environment. In contrast, while model-based approaches and Q-learning directly handle exploration through the use of optimism, their ability to handle model misspecification and function approximation is far less evident. This work introduces the the Policy Cover-Policy Gradient (PC-PG) algorithm, which provably balances the exploration vs. exploitation tradeoff using an ensemble of learned policies (the policy cover). PC-PG enjoys polynomial sample complexity and run time for both tabular MDPs and, more generally, linear MDPs in an infinite dimensional RKHS. Furthermore, PC-PG also has strong guarantees under model misspecification that go beyond the standard worst case `∞ assumptions; this includes approximation guarantees for state aggregation under an average case error assumption, along with guarantees under a more general assumption where the approximation error under distribution shift is controlled. We complement the theory with empirical evaluation across a variety of domains in both reward-free and reward-driven settings.

研究动机与目标

• 为解决无模型策略梯度方法中的探索-利用权衡问题，这些方法通常仅进行局部优化，且常常无法有效探索。
• 开发一种方法，确保在表格型和线性 MDP 中均具备可证明的样本效率和运行时间复杂度。
• 在模型误设条件下提供鲁棒性保证，特别是针对函数逼近和状态聚合。
• 将理论保证从最坏情况假设扩展到平均情况和分布偏移设置。

提出的方法

• PC-PG 构建了一个策略覆盖——一组学习得到的策略——其整体能比单一策略更有效地探索状态-动作空间。
• 它使用一种由策略集合覆盖程度引导的策略梯度更新，确保未探索或探索不足的区域得到主动关注。
• 该算法在再生核希尔伯特空间（RKHS）中运行，从而在无限维函数空间中实现泛化。
• 通过策略覆盖在不确定性面前采取乐观策略，促进在低覆盖区域的探索。
• 该方法提供了样本复杂度和运行时间的理论边界，其规模随相关问题维度呈多项式增长。
• 在平均误差假设下推导出近似保证，并在分布偏移下实现受控误差。

实验结果

研究问题

• RQ1 策略梯度方法能否在表格型和线性 MDP 中实现可证明的样本效率和运行时间复杂度，同时平衡探索与利用？
• RQ2 如何使策略梯度方法对模型误设具有鲁棒性，特别是在函数逼近条件下？
• RQ3 当近似误差在平均误差或分布偏移条件下受约束时，可提供哪些理论保证？
• RQ4 策略覆盖机制能否确保探索系统性地指向未探索区域，而无需依赖显式的奖励函数？
• RQ5 在无奖励和有奖励两种设置下，PC-PG 的性能与标准策略梯度方法和 Q-learning 方法相比如何？

主要发现

• PC-PG 在无限维 RKHS 中对表格型 MDP 和线性 MDP 均实现了多项式样本复杂度和运行时间复杂度。
• 该算法在模型误设条件下提供了强有力的保证，包括在平均误差假设下对状态聚合的近似边界。
• 当分布偏移下的近似误差受控时，其保证超越了标准的最坏情况 ∞ 假设，表现出鲁棒性。
• 实验评估表明，PC-PG 在多种环境下的无奖励和有奖励设置中均表现出具有竞争力的性能。
• 策略覆盖机制能有效引导探索，减少了对启发式奖励函数或显式探索策略的依赖。
• 即使真实动态或价值函数未被函数逼近器完全捕捉，该方法仍能保持理论保证。