[论文解读] Provably Convergent Policy Gradient Methods for Model-Agnostic Meta-Reinforcement Learning

Alireza Fallah, Aryan Mokhtari+1 more|arXiv (Cornell University)|Feb 12, 2020

Reinforcement Learning in Robotics参考文献 16被引用 12

一句话总结

本文提出随机梯度元强化学习（SG-MRL），一种基于随机策略梯度的模型无关元强化学习方法，可实现对新任务的高效适应。该方法首次为这类方法提供了理论收敛保证，建立了找到 $\mathcal{\epsilon}$-一阶平稳点的迭代复杂度和样本复杂度边界。

ABSTRACT

We consider Model-Agnostic Meta-Learning (MAML) methods for Reinforcement Learning (RL) problems where the goal is to find a policy (using data from several tasks represented by Markov Decision Processes (MDPs)) that can be updated by one step of stochastic policy gradient for the realized MDP. In particular, using stochastic gradients in MAML update step is crucial for RL problems since computation of exact gradients requires access to a large number of possible trajectories. For this formulation, we propose a variant of the MAML method, named Stochastic Gradient Meta-Reinforcement Learning (SG-MRL), and study its convergence properties. We derive the iteration and sample complexity of SG-MRL to find an $\epsilon$-first-order stationary point, which, to the best of our knowledge, provides the first convergence guarantee for model-agnostic meta-reinforcement learning algorithms. We further show how our results extend to the case where more than one step of stochastic policy gradient method is used in the update during the test time.

研究动机与目标

• 解决现有模型无关元强化学习算法在使用随机策略梯度时缺乏理论收敛保证的问题。
• 设计一种针对强化学习中使用随机梯度的、可证明收敛的 MAML 变体。
• 分析所提方法在寻找 $\mathcal{\epsilon}$-一阶平稳点时的迭代与样本复杂度。
• 将收敛性分析扩展至测试时适应过程中包含多次随机策略梯度更新的情形。

提出的方法

• 提出 SG-MRL，一种基于随机梯度的 MAML 在元强化学习中的变体，其中内层更新使用随机策略梯度而非精确梯度。
• 在适应阶段采用一步随机策略梯度更新，以应对强化学习中精确梯度计算带来的高方差与高计算成本。
• 在标准光滑性与有界梯度假设下，推导出达到 $\mathcal{\epsilon}$-一阶平稳点的迭代与样本复杂度的理论边界。
• 采用元优化框架，其中元策略通过在马尔可夫决策过程（MDP）分布上的随机梯度下降进行更新。
• 应用非凸随机优化中的理论工具，分析在函数逼近背景下强化学习中的收敛性。
• 将分析扩展至测试时适应过程中包含多次内层策略更新的情形，同时保持收敛性保证。

实验结果

研究问题

• RQ1 使用随机策略梯度的模型无关元强化学习算法的迭代与样本复杂度是多少？
• RQ2 能否设计一种可证明收敛的算法，用于元强化学习，且避免在内层循环中计算精确梯度？
• RQ3 当测试时适应过程中使用超过一次随机策略梯度更新时，收敛性保证如何扩展？
• RQ4 在该设置下，确保收敛至 $\mathcal{\epsilon}$-一阶平稳点的理论条件是什么？

主要发现

• 本文首次建立了模型无关元强化学习中使用随机策略梯度的迭代与样本复杂度边界。
• 在标准光滑性与有界梯度假设下，SG-MRL 可在有限次迭代与样本下收敛至 $\mathcal{\epsilon}$-一阶平稳点。
• 收敛速率取决于随机策略梯度的方差以及策略梯度目标的光滑性。
• 理论框架可扩展至测试时适应中包含多次内层更新的情形，且仍保持收敛性保证。