[论文解读] Soft-Robust Actor-Critic Policy-Gradient

Esther Derman, Daniel J. Mankowitz+2 more|arXiv (Cornell University)|Mar 11, 2018

Reinforcement Learning in Robotics参考文献 21被引用 19

一句话总结

本文提出了一种软鲁棒演员-critic（SR-AC）算法，通过在转移模型的概率分布上进行优化，学习一种在激进性与对模型不确定性的鲁棒性之间取得平衡的策略，避免了传统鲁棒MDP的过度保守性。该方法采用在线随机逼近，具有收敛性保证，并在存在模型不确定性的连续控制环境中表现出优越性能。

ABSTRACT

Robust Reinforcement Learning aims to derive optimal behavior that accounts for model uncertainty in dynamical systems. However, previous studies have shown that by considering the worst case scenario, robust policies can be overly conservative. Our soft-robust framework is an attempt to overcome this issue. In this paper, we present a novel Soft-Robust Actor-Critic algorithm (SR-AC). It learns an optimal policy with respect to a distribution over an uncertainty set and stays robust to model uncertainty but avoids the conservativeness of robust strategies. We show the convergence of SR-AC and test the efficiency of our approach on different domains by comparing it against regular learning methods and their robust formulations.

研究动机与目标

• 为解决传统鲁棒强化学习中的过度保守性问题，提出一种软鲁棒框架，实现激进行为与鲁棒行为之间的插值。
• 开发一种在线、可扩展的演员-critic算法，通过在不确定性集上进行分布优化，引入软鲁棒性。
• 在对不确定性集和分布的温和假设下，为所提出的SR-AC算法提供理论收敛性保证。
• 展示软鲁棒策略在连续动作空间中的有效性，此前的研究在此方面存在局限。
• 克服先前鲁棒方法的局限，如离线计算、不可扩展性以及缺乏收敛性证明。

提出的方法

• SR-AC算法通过在不确定性集的转移模型分布上定义软鲁棒目标，对最坏情况下的场景进行平均，从而减少过度保守性。
• 采用随机逼近方法在线更新演员和评论家，实现对大规模和连续状态-动作空间的可扩展性。
• 通过软鲁棒公式推导策略梯度，优化在不确定性集上分布族内的最坏情况分布下的期望回报。
• 使用函数逼近在低维特征空间中表示价值函数，缓解维度灾难问题。
• 在温和假设下证明了收敛性，包括平均转移模型的平稳性，以及不确定性集与策略空间之间的兼容性条件。
• 该方法避免对模型参数使用贝叶斯先验，而是将不确定性集视为一组固定可能的模型，并通过其上的分布实现鲁棒性。

实验结果

研究问题

• RQ1 软鲁棒框架能否在保持对模型不确定性的保护能力的同时，减少传统鲁棒MDP的过度保守性？
• RQ2 在存在模型不确定性的情况下，具有软鲁棒性的在线演员-critic算法能否实现收敛性保证？
• RQ3 与标准强化学习和鲁棒强化学习基线相比，软鲁棒性在连续控制环境中表现如何？
• RQ4 所提出的方法能否在不牺牲鲁棒性或性能的前提下，扩展到大规模和高维状态-动作空间？
• RQ5 是否存在一种方法，可在不依赖最坏情况假设或离线规划的前提下，平衡激进探索与鲁棒性？

主要发现

• 在对不确定性集和分布的温和假设下，SR-AC算法收敛至局部最优策略，为软鲁棒学习提供了理论保证。
• 在存在模型不确定性的环境中，软鲁棒智能体的表现优于标准策略和鲁棒策略，尤其在连续动作空间中表现突出。
• 与传统鲁棒MDP相比，该方法在风险与回报之间实现了更优的权衡，避免了过度保守，同时保持了鲁棒性。
• 由于采用在线学习和函数逼近，该算法在计算上具有可扩展性，适用于大规模领域。
• 实验结果表明，软鲁棒策略能有效在激进行为与鲁棒行为之间插值，适应不确定性，而不会过度拟合到最坏情况场景。
• 该框架是首个将软鲁棒性整合到具有收敛性证明的在线演员-critic方法中，并在连续控制任务中展示了有效性。