[论文解读] Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence

Wenhao Zhan, Shicong Cen+4 more|arXiv (Cornell University)|May 24, 2021

Reinforcement Learning in Robotics参考文献 45被引用 8

一句话总结

该论文提出了广义策略镜像下降（GPMD），这是一种用于正则化强化学习的统一框架，利用Bregman散度处理任意凸正则化项。该方法在广泛的学习率范围内实现了对全局最优解的线性收敛，即使在非光滑、非强凸正则化以及不精确策略评估的情况下，也具备可证明的稳定性和无维度收敛速率。

ABSTRACT

Policy optimization, which finds the desired policy by maximizing value functions via optimization techniques, lies at the heart of reinforcement learning (RL). In addition to value maximization, other practical considerations arise as well, including the need of encouraging exploration, and that of ensuring certain structural properties of the learned policy due to safety, resource and operational constraints. These can often be accounted for via regularized RL, which augments the target value function with a structure-promoting regularizer. Focusing on discounted infinite-horizon Markov decision processes, we propose a generalized policy mirror descent (GPMD) algorithm for solving regularized RL. As a generalization of policy mirror descent (arXiv:2102.00135), our algorithm accommodates a general class of convex regularizers and promotes the use of Bregman divergence in cognizant of the regularizer in use. We demonstrate that our algorithm converges linearly to the global solution over an entire range of learning rates, in a dimension-free fashion, even when the regularizer lacks strong convexity and smoothness. In addition, this linear convergence feature is provably stable in the face of inexact policy evaluation and imperfect policy updates. Numerical experiments are provided to corroborate the appealing performance of GPMD.

研究动机与目标

• 解决在熵等特定正则化项之外，正则化强化学习中策略优化缺乏通用收敛理论的问题。
• 开发一个统一的算法框架，以适应包括非光滑和非强凸在内的广泛凸正则化项。
• 在一般正则化项下，为策略优化建立线性收敛保证，即使正则化项不具备强凸性或光滑性。
• 确保对不精确策略评估和不完美策略更新的鲁棒性，这些情况在实际强化学习设置中很常见。
• 提供无维度的收敛性分析，该分析在广泛的学习率范围内均成立。

提出的方法

• 提出广义策略镜像下降（GPMD）算法，通过将针对所选正则化项定制的Bregman散度引入，推广了策略镜像下降。
• 使用Bregman散度作为度量，使更新方向与正则化项所诱导的几何结构保持一致，从而实现灵活且保持结构的策略更新。
• 将策略更新表述为使用Bregman散度最小化正则化目标，确保策略保持在由正则化项定义的可行集内。
• 通过将值差距与策略及其梯度之间的Bregman散度联系起来的性能差异引理，建立收敛性。
• 分析GPMD的精确与不精确变体，通过Q值差异上的压缩论证，在弱假设下证明线性收敛。
• 为每个周期引入步长和迭代次数策略，以确保即使在策略评估近似时，误差也能实现指数衰减。

实验结果

研究问题

• RQ1 能否开发一个统一的策略优化框架，以支持强化学习中任意凸正则化项？
• RQ2 所提出的GPMD算法是否在正则化项非强凸或非光滑时，仍能实现对全局最优解的线性收敛？
• RQ3 在不精确策略评估和不完美策略更新下，该算法表现如何，收敛性是否仍能保证？
• RQ4 收敛速率是否可实现无维度，并在广泛的学习率范围内保持一致？
• RQ5 Bregman散度的选择对一般正则化项下策略优化的稳定性和收敛性有何影响？

主要发现

• GPMD在整个学习率范围内实现了对正则化强化学习全局最优策略的线性收敛，即使正则化项不具备强凸性或光滑性。
• 收敛速率是无维度的，意味着其不会因状态空间或动作空间的增大而恶化。
• 该算法在不精确策略评估和不完美策略更新下具有可证明的稳定性，误差界随迭代次数呈指数衰减。
• 对于每个周期，内层迭代次数 $ T_i $ 可选择为 $ \big\lfloor \frac{1+\tau_i\theta}{\theta(1-\rho)} \rho \big\rfloor $，以确保误差指数衰减，其中 $ \theta $ 为正则化参数，$ \rho $ 为折扣因子。
• 当前策略与最优策略之间的性能差距按 $ \frac{\tau_i B}{1-\rho} $ 衰减，其中 $ \tau_i $ 为步长，$ B $ 为Q值差异的有界值。
• 数值实验表明，与标准策略梯度和自然策略梯度方法相比，GPMD在收敛速度和稳定性方面表现更优，尤其在熵正则化和约束正则化下。