[论文解读] Robust Reinforcement Learning via Adversarial training with Langevin Dynamics

Parameswaran Kamalaruban, Yu‐Ting Huang+4 more|arXiv (Cornell University)|Feb 14, 2020

Reinforcement Learning in Robotics参考文献 37被引用 12

一句话总结

本文提出一种基于采样的鲁棒强化学习算法，利用随机梯度朗之万动力学（SGLD）训练对环境扰动具有鲁棒性的智能体。通过将鲁棒强化学习建模为混合纳什均衡问题，而非单纯的纳什均衡搜索，该方法在MuJoCo环境中对未见的环境变化展现出更优的泛化性能，即使在非鲁棒目标上进行训练，也优于标准策略梯度方法和基于优化的基线方法。

ABSTRACT

We introduce a sampling perspective to tackle the challenging task of training robust Reinforcement Learning (RL) agents. Leveraging the powerful Stochastic Gradient Langevin Dynamics, we present a novel, scalable two-player RL algorithm, which is a sampling variant of the two-player policy gradient method. Our algorithm consistently outperforms existing baselines, in terms of generalization across different training and testing conditions, on several MuJoCo environments. Our experiments also show that, even for objective functions that entirely ignore potential environmental shifts, our sampling approach remains highly robust in comparison to standard RL algorithms.

研究动机与目标

• 解决深度强化学习智能体在分布偏移和环境不匹配下的脆弱性问题。
• 克服基于优化的方法在训练鲁棒强化学习智能体时的局限性，后者常因非凸-凹目标而无法收敛到有意义的均衡点。
• 证明基于采样的方法，特别是基于混合纳什均衡的方法，相比纯策略梯度方法，在鲁棒性和泛化能力方面表现更优。
• 表明即使在非鲁棒目标上进行训练，基于采样的算法也能实现与基于优化的鲁棒强化学习方法相当或更优的性能。
• 验证SGLD采样在处理倒立摆等失败案例（如环境扰动下的摩擦或质量变化）时的有效性。

提出的方法

• 该方法将鲁棒强化学习建模为两人零和博弈，其中主角最大化期望回报，而对手引入扰动。
• 采用随机梯度朗之万动力学（SGLD）从策略的后验分布中进行采样，从而实现对混合纳什均衡的探索。
• 算法使用预处理的SGLD变体，结合RMSProp自适应学习率，以提升收敛性和稳定性。
• 该方法将鲁棒强化学习目标视为混合策略博弈，避免了在非凸-凹设置下纯纳什均衡搜索的陷阱。
• 将采样框架应用于标准和鲁棒强化学习目标，实现在相同训练条件下的对比。
• 该方法被集成到TD3和SAC等异策略算法中，利用朗之万动力学通过注入噪声来更新策略参数。

实验结果

研究问题

• RQ1 在环境变化下，基于采样的方法是否能优于基于优化的方法来训练鲁棒强化学习智能体？
• RQ2 在非凸-凹的鲁棒强化学习目标中，从混合纳什均衡中采样是否比搜索纯纳什均衡提供更好的泛化能力？
• RQ3 在非鲁棒目标上训练的基于采样的算法，是否仍能实现与在相同鲁棒目标上训练的基于优化的鲁棒强化学习基线方法相当或更优的性能？
• RQ4 SGLD-based采样方法在倒立摆等失败案例中（如未见的摩擦或质量变化）表现如何？
• RQ5 朗之万动力学在Walker、HalfCheetah和Hopper等连续控制任务中在多大程度上提升了鲁棒性？

主要发现

• 所提出的基于采样的算法TD3 with MixedNE-LD在多种MuJoCo环境中，对未见的环境扰动表现出一致优于标准TD3和SAC的性能。
• 即使在非鲁棒目标上进行训练，该采样方法的性能仍与在相同鲁棒目标上训练的基于优化的鲁棒强化学习方法相当或更优。
• 该方法成功处理了标准策略梯度方法在质量与摩擦变化下的失败案例（如倒立摆），而基于优化的方法则失败。
• 实验表明，该采样方法在未见的摩擦、质量及噪声概率值下均表现出良好的泛化能力，显示出强大的鲁棒性。
• RMSProp预处理的SGLD变体在高维策略空间中展现出稳定的训练过程和有效的探索能力。
• 在所有评估设置中，基于采样的方法在5个随机种子下均保持了优越的性能，表明其具有高度的可重现性和稳定性。