[论文解读] Robust Reinforcement Learning using Offline Data

Kishan Panaganti, Zaiyan Xu+2 more|arXiv (Cornell University)|Aug 10, 2022

Adversarial Robustness in Machine Learning被引用 15

一句话总结

该论文提出了一种新型离线强化学习算法——鲁棒拟合Q-迭代（RFQI），仅使用离线数据即可学习对模型不确定性具有鲁棒性的策略。通过解决离线鲁棒强化学习中的关键挑战——如无偏估计和不确定性集上的最小最大优化——RFQI在模型扰动下实现了显著更优的鲁棒性能，当标准FQI的奖励降至1400时，RFQI的奖励可达3200，表明其在MuJoCo基准测试中具有强大的泛化能力。

ABSTRACT

The goal of robust reinforcement learning (RL) is to learn a policy that is robust against the uncertainty in model parameters. Parameter uncertainty commonly occurs in many real-world RL applications due to simulator modeling errors, changes in the real-world system dynamics over time, and adversarial disturbances. Robust RL is typically formulated as a max-min problem, where the objective is to learn the policy that maximizes the value against the worst possible models that lie in an uncertainty set. In this work, we propose a robust RL algorithm called Robust Fitted Q-Iteration (RFQI), which uses only an offline dataset to learn the optimal robust policy. Robust RL with offline data is significantly more challenging than its non-robust counterpart because of the minimization over all models present in the robust Bellman operator. This poses challenges in offline data collection, optimization over the models, and unbiased estimation. In this work, we propose a systematic approach to overcome these challenges, resulting in our RFQI algorithm. We prove that RFQI learns a near-optimal robust policy under standard assumptions and demonstrate its superior performance on standard benchmark problems.

研究动机与目标

• 解决由于模型参数不确定性导致训练与测试环境不一致时，强化学习中鲁棒策略学习的挑战。
• 开发一种仅依赖预收集数据集、无需在线交互的离线强化学习算法，同时保持对模型变化的鲁棒性。
• 克服离线鲁棒强化学习中的关键挑战：无偏估计、不确定性集上的优化以及数据分布偏移问题。
• 在标准假设下，为近似最优鲁棒策略学习提供理论保证，将拟合Q-迭代（Fitted Q-Iteration）扩展至鲁棒马尔可夫决策过程框架。
• 在标准MuJoCo基准测试中，与非鲁棒离线强化学习基线方法（如FQI和TD3）相比，展示出更优的鲁棒性。

提出的方法

• 使用鲁棒马尔可夫决策过程（RMDP）形式化鲁棒强化学习问题，要求策略在不确定性集中的最坏情况模型下仍能优化性能。
• 提出RFQI，作为拟合Q-迭代（FQI）的扩展，其在Q值更新过程中引入对不确定性集的最小最大优化。
• 使用函数逼近处理大规模状态空间，从而实现对连续控制任务的可扩展性。
• 提出一种系统化方法，从离线数据中估计不确定性集，并在存在分布偏移的情况下实现无偏的价值函数更新。
• 应用经过网格搜索调优的鲁棒性超参数ρ来平衡鲁棒性与性能，其中Hopper任务中ρ=0.5，Half-Cheetah任务中ρ=0.3。
• 利用离线数据集（如D4RL）训练策略，无需在线轨迹采样，确保安全高效的部署。

实验结果

研究问题

• RQ1 在不进行在线数据采集的前提下，离线强化学习算法能否在模型参数扰动下实现鲁棒性能？
• RQ2 如何有效将不确定性集上的最小最大优化集成到离线FQI中，以确保学习过程的稳定与无偏？
• RQ3 离线数据的质量与代表性对所学习策略的鲁棒性有何影响？
• RQ4 在不同环境扰动下，RFQI与非鲁棒离线基线方法（如FQI和TD3）相比表现如何？
• RQ5 鲁棒性在何种条件下会失效？数据覆盖度在限制或促进鲁棒策略学习中扮演何种角色？

主要发现

• 在Hopper环境中，当关节阻尼参数扰动达30%时，RFQI的回合奖励达到3000，而FQI仅降至1400。
• 在Half-Cheetah环境中，当执行器控制范围参数扰动超过50%时，RFQI的奖励保持在约5500，而FQI下降至4300。
• 对于Hopper任务，RFQI在所有测试扰动（重力、关节阻尼、关节摩擦损耗）下均表现出平稳的性能衰减，始终优于FQI。
• 在D4RL基准数据集上，RFQI在多个模型参数扰动下均表现出鲁棒性，性能保持稳定，而FQI则急剧下降。
• 在某些情况下（如Hopper中的执行器控制范围和大腿关节刚度参数），RFQI与FQI表现相近，表明对某些参数存在数据覆盖限制。
• RFQI的鲁棒性对离线数据质量敏感；当数据无法代表扰动参数时，性能增益减弱，凸显了数据依赖性的影响。