[论文解读] Online Robust Reinforcement Learning with Model Uncertainty

Yue Wang, Shaofeng Zou|arXiv (Cornell University)|Sep 29, 2021

Reinforcement Learning in Robotics参考文献 67被引用 6

一句话总结

本文提出了一种在线鲁棒强化学习算法，通过从一个模型错误设定的MDP的单一轨迹中估计不确定性集，来处理模型不确定性。该工作提出了适用于表格设置的鲁棒Q-learning，以及适用于函数逼近的鲁棒TDC算法，两者在无需折扣因子约束的条件下实现渐近收敛，且收敛速率与普通算法在常数因子范围内一致，同时保持对分布偏移的鲁棒性。

ABSTRACT

Robust reinforcement learning (RL) is to find a policy that optimizes the worst-case performance over an uncertainty set of MDPs. In this paper, we focus on model-free robust RL, where the uncertainty set is defined to be centering at a misspecified MDP that generates a single sample trajectory sequentially and is assumed to be unknown. We develop a sample-based approach to estimate the unknown uncertainty set and design a robust Q-learning algorithm (tabular case) and robust TDC algorithm (function approximation setting), which can be implemented in an online and incremental fashion. For the robust Q-learning algorithm, we prove that it converges to the optimal robust Q function, and for the robust TDC algorithm, we prove that it converges asymptotically to some stationary points. Unlike the results in [Roy et al., 2017], our algorithms do not need any additional conditions on the discount factor to guarantee the convergence. We further characterize the finite-time error bounds of the two algorithms and show that both the robust Q-learning and robust TDC algorithms converge as fast as their vanilla counterparts(within a constant factor). Our numerical experiments further demonstrate the robustness of our algorithms. Our approach can be readily extended to robustify many other algorithms, e.g., TD, SARSA, and other GTD algorithms.

研究动机与目标

• 解决强化学习中因模型错误设定导致策略性能退化的问题。
• 开发一种无需模型的鲁棒强化学习框架，其中不确定性集通过从一个错误设定的MDP的单一轨迹中在线估计得到。
• 消除对不确定性集先验知识的需求，从而实现在大规模或高维环境中的可扩展部署。
• 确保鲁棒学习算法的收敛性，且无需对折扣因子施加严格限制，这与先前工作不同。
• 实现有限时间误差界，其规模在常数因子范围内与非鲁棒对应方法相当。

提出的方法

• 使用R-污染模型在错误设定的MDP周围定义不确定性集，以实现对对抗性转移核扰动的鲁棒性。
• 设计一种在线、基于样本的估计方法，仅使用当前数据增量式学习不确定性集，避免额外的内存开销。
• 为表格MDP提出一种鲁棒Q-learning算法，通过使用平滑的鲁棒贝尔曼算子更新Q值，确保收敛至最优鲁棒Q函数。
• 通过一种双时标鲁棒TDC算法将方法扩展至函数逼近，使用平滑的均方投影鲁棒贝尔曼误差（MSPRBE）实现稳定学习。
• 提出一种新颖的平滑鲁棒贝尔曼算子，以处理“非转移核”设置，即真实MDP与数据收集所用MDP不同。
• 证明两种算法的渐近收敛性及有限时间误差界，表明其收敛速率在常数因子范围内与普通Q-learning和TDC相当。

实验结果

研究问题

• RQ1 当不确定性集未知且必须从未知的单一轨迹中估计时，是否可以实现在线、无模型的鲁棒强化学习？
• RQ2 与先前方法不同，所提出的鲁棒Q-learning算法是否在无需对折扣因子施加严格条件的情况下实现收敛？
• RQ3 鲁棒Q-learning与鲁棒TDC算法的有限时间误差界与它们的非鲁棒对应方法相比，收敛速率如何？
• RQ4 在函数逼近下，鲁棒TDC算法是否能保持稳定与收敛，即使标准TD方法可能发散？
• RQ5 在模型不匹配环境中，所提出方法在实验评估中在多大程度上提升了鲁棒性？

主要发现

• 与Roy等人（2017）不同，鲁棒Q-learning算法在无需对折扣因子施加任何条件的情况下，渐近收敛至最优鲁棒Q函数。
• 鲁棒Q-learning的有限时间误差界在常数因子范围内与普通Q-learning相当，表明其收敛速度相近。
• 鲁棒TDC算法渐近收敛至一个驻点，并在函数逼近下保持稳定性，即使普通TDC可能发散。
• 数值实验表明，在模型错误设定下，鲁棒Q-learning获得的奖励显著高于普通Q-learning，尤其当训练与测试MDP之间的不匹配程度增加时。
• 鲁棒TDC算法收敛速度优于普通TDC，且保持稳定，而普通TDC在相同设置下发散，这表明在函数逼近中鲁棒性具有必要性。