[论文解读] Policy Gradient in Partially Observable Environments: Approximation and Convergence

Kamyar Azizzadenesheli, Yisong Yue+1 more|arXiv (Cornell University)|Oct 18, 2018

Reinforcement Learning in Robotics参考文献 41被引用 10

一句话总结

本文通过引入一种新颖的优势函数及理论工具，将策略梯度方法扩展至部分可观测马尔可夫决策过程（POMDPs），并将其推广至信任区域和近端策略优化（TRPO/PPO）方法。在折扣与非折扣设定下，本文建立了收敛性保证与最优性边界，表明策略梯度方法可在具有理论严谨性的现实部分可观测环境中有效应用。

ABSTRACT

Policy gradient is a generic and flexible reinforcement learning approach that generally enjoys simplicity in analysis, implementation, and deployment. In the last few decades, this approach has been extensively advanced for fully observable environments. In this paper, we generalize a variety of these advances to partially observable settings, and similar to the fully observable case, we keep our focus on the class of Markovian policies. We propose a series of technical tools, including a novel notion of advantage function, to develop policy gradient algorithms and study their convergence properties in such environments. Deploying these tools, we generalize a variety of existing theoretical guarantees, such as policy gradient and convergence theorems, to partially observable domains, those which also could be carried to more settings of interest. This study also sheds light on the understanding of policy gradient approaches in real-world applications which tend to be partially observable.

研究动机与目标

• 将此前仅适用于完全可观测MDP的策略梯度方法，理论化地推广至部分可观测环境（POMDPs）。
• 为POMDPs设计一种新型优势函数，以实现稳定且高效的策略优化。
• 在保持计算可行性与收敛性特性的前提下，将TRPO与PPO等先进策略梯度算法推广至POMDPs。
• 在折扣与非折扣奖励设定下，对POMDPs中的策略梯度方法提供收敛性与最优性分析。
• 弥合完全可观测MDP与机器人、导航及自主系统等现实部分可观测应用之间的理论鸿沟。

提出的方法

• 提出一种在POMDPs中引入未来观测依赖性的新型优势函数，以实现更优的梯度估计。
• 引入优势差距 $\overline{\epsilon}$，用于衡量因部分可观测性导致的MDP与POMDP行为差异。
• 通过将期望回报的梯度表示为策略诱导测度下轨迹的期望，应用POMDP中的策略梯度定理。
• 利用Pinsker不等式与KL散度界，将策略更新距离与性能变化关联，实现收敛性分析。
• 通过GTRPO与GPPO算法，将TRPO与PPO推广至POMDPs，在部分可观测环境下保持信任区域与裁剪机制。
• 利用Fubini定理与轨迹分解方法，界定真实性能与代理目标之间的差异，确保理论稳定性。

实验结果

研究问题

• RQ1 策略梯度方法能否在保持收敛性与最优性保证的前提下，理论化地推广至部分可观测环境？
• RQ2 部分可观测性如何影响POMDPs中真实策略梯度与其代理目标之间的性能差距？
• RQ3 在POMDPs中，何种优势函数的推广形式可兼顾未来观测并实现稳定学习？
• RQ4 能否在不牺牲计算可行性或收敛性的前提下，将信任区域与裁剪策略优化方法适配至POMDPs？
• RQ5 在所提出的框架下，KL散度与总变差界如何与POMDPs中的策略改进相关联？

主要发现

• 本文证明，真实策略梯度与其代理目标之间的性能差距，受优势差距 $\overline{\epsilon}$ 与策略轨迹间KL散度的有界性约束。
• 广义TRPO（GTRPO）与PPO（GPPO）算法在计算上可行，并在POMDPs中保持收敛性保证。
• 在完全可观测MDP中，优势差距 $\overline{\epsilon}$ 消失，表明与现有MDP理论的一致性。
• 理论边界表明，当策略更新在轨迹层面的KL散度较小时，即使在部分可观测设置下，策略改进也能得到保证。
• 该框架支持在折扣与非折扣奖励设定下的收敛性分析，拓宽了在现实任务中的适用范围。
• 所提出的工具使先进深度强化学习算法可推广至POMDPs，为复杂现实环境中稳健策略学习提供了理论基础。