[论文解读] Neural Policy Gradient Methods: Global Optimality and Rates of Convergence

Lingxiao Wang, Qi Cai+2 more|arXiv (Cornell University)|Aug 29, 2019

Model Reduction and Neural Networks参考文献 80被引用 91

一句话总结

论文证明在过参数化的两层网络中，神经策略梯度方法达到全局最优性并具有亚线性收敛率，同时强调 actor 与 critic 的兼容性的重要性。

ABSTRACT

Policy gradient methods with actor-critic schemes demonstrate tremendous empirical successes, especially when the actors and critics are parameterized by neural networks. However, it remains less clear whether such "neural" policy gradient methods converge to globally optimal policies and whether they even converge at all. We answer both the questions affirmatively in the overparameterized regime. In detail, we prove that neural natural policy gradient converges to a globally optimal policy at a sublinear rate. Also, we show that neural vanilla policy gradient converges sublinearly to a stationary point. Meanwhile, by relating the suboptimality of the stationary points to the representation power of neural actor and critic classes, we prove the global optimality of all stationary points under mild regularity conditions. Particularly, we show that a key to the global optimality and convergence is the "compatibility" between the actor and critic, which is ensured by sharing neural architectures and random initializations across the actor and critic. To the best of our knowledge, our analysis establishes the first global optimality and convergence guarantees for neural policy gradient methods.

研究动机与目标

• 激发对 actor-critic 设置下神经策略梯度方法理论保证的理解。
• 在共享结构下对过参数化进行收敛性与最优性分析。
• 建立 vanilla 策略梯度和 natural 策略梯度方法的收敛速率。
• 通过共享初始化展示 actor 与 critic 之间兼容性的重要作用。

提出的方法

• 将策略表示为一个带 ReLU 激活的两层神经网络，对动作进行 softmax（能量基形式）。
• 使用 TD(0) 的独立采样来估计策略梯度。
• 分析两种设定：vanilla policy gradient（梯度上升）和 natural policy gradient（基于 Fisher 信息的更新）。
• 证明 vanilla policy gradient 的策略梯度的期望平方范数的收敛速率为 1/√T。
• 证明在 KL 正则化下，神经 natural policy gradient 收敛到全局最优策略的速率为 1/√T。

实验结果

研究问题

• RQ1 神经策略梯度方法在过参数化下是否收敛到全局最优策略？
• RQ2 在 actor-critic 设置下，神经策略梯度和神经自然策略梯度的收敛速率是多少？
• RQ3 actor 与 critic 的兼容性（共享架构和初始化）如何影响收敛性和最优性？
• RQ4 在较温和的正则性条件下，神经策略梯度的驻点是否可能全局最优？

主要发现

• 神经 vanilla 策略梯度在梯度平方范数上以 1/√T 的速率收敛到一个驻点。
• 神经 natural 策略梯度在总奖励上以 1/√T 的速率收敛到全局最优策略。
• 在温和正则性条件和神经 actor/critic 的表示能力下，所有驻点的全局最优性成立。
• 全局保证依赖于通过共享架构和随机初始化实现的 actor 与 critic 之间的兼容性概念。
• 分析覆盖在独立采样设定下使用 TD(0) critic 的过参数化两层网络。