[论文解读] Striving for Simplicity and Performance in Off-Policy DRL: Output Normalization and Non-Uniform Sampling

Che Wang, Yanqiu Wu+2 more|arXiv (Cornell University)|Oct 5, 2019

Power Line Communications and Noise参考文献 51被引用 13

一句话总结

该论文提出了一种简化的离策略深度强化学习算法——强调近期经验的简化离策略方法（SOP+ERE），在不使用熵最大化的情况下，实现了MuJoCo连续控制基准任务上的最先进样本效率。通过用输出归一化或反向梯度替代SAC的熵正则化，并结合一种简单的非均匀采样方案（ERE），该方法优先考虑近期经验，其性能与SAC相当，并在使用一百万次样本的情况下，于Ant和Humanoid任务上分别提升了21%和24%。

ABSTRACT

We aim to develop off-policy DRL algorithms that not only exceed state-of-the-art performance but are also simple and minimalistic. For standard continuous control benchmarks, Soft Actor-Critic (SAC), which employs entropy maximization, currently provides state-of-the-art performance. We first demonstrate that the entropy term in SAC addresses action saturation due to the bounded nature of the action spaces, with this insight, we propose a streamlined algorithm with a simple normalization scheme or with inverted gradients. We show that both approaches can match SAC's sample efficiency performance without the need of entropy maximization, we then propose a simple non-uniform sampling method for selecting transitions from the replay buffer during training. Extensive experimental results demonstrate that our proposed sampling scheme leads to state of the art sample efficiency on challenging continuous control tasks. We combine all of our findings into one simple algorithm, which we call Streamlined Off Policy with Emphasizing Recent Experience, for which we provide robust public-domain code.

研究动机与目标

• 理解熵最大化在SAC等最先进离策略DRL算法中于连续控制任务中的真实作用。
• 开发一种极简、高性能的离策略DRL算法，避免熵最大化带来的复杂性。
• 通过一种简单、非均匀的经验回放缓冲区采样策略，优先考虑近期经验，以提升样本效率。
• 为可复现性和实际应用，提供一种稳健且公开可用的实现方法。

提出的方法

• 提出输出归一化，以防止有界动作空间中的动作饱和，从而替代SAC中对熵正则化的依赖。
• 引入反向梯度（IG），作为熵正则化的替代方案，以在不修改目标函数的前提下维持探索能力。
• 开发了强调近期经验（ERE）方法，一种轻量级的非均匀采样策略，通过提高近期经验的采样概率，无需复杂数据结构。
• 将简化的策略更新与ERE采样相结合，形成SOP+ERE算法，提升学习效率。
• 采用标准的离策略训练方式，包括双Q网络、目标网络和经验回放，但对采样机制和策略输出机制进行了修改。
• 采用简单的训练循环，对Q网络和策略进行梯度更新，使用固定的target网络更新率和标准经验回放缓冲区。

实验结果

研究问题

• RQ1 SAC中熵项在MuJoCo连续控制任务中的主要功能作用是什么？
• RQ2 是否可以设计一种极简的离策略DRL算法，在不使用熵最大化的情况下，达到与SAC相当的样本效率？
• RQ3 一种简单、非均匀的采样策略（优先考虑近期经验）与均匀采样或优先级采样相比，在样本效率方面表现如何？
• RQ4 输出归一化与近期经验强调的结合是否能在具有挑战性的MuJoCo环境中超越SAC？

主要发现

• SAC中的熵项主要作用是缓解有界动作空间导致的动作饱和，而非直接用于探索。
• 仅通过输出归一化和反向梯度，即可在不使用熵最大化的情况下，达到与SAC在MuJoCo基准测试中相当的样本效率和鲁棒性。
• 所提出的ERE采样方法显著提升了样本效率，在简洁性和性能上均优于均匀采样和PER。
• 在使用一百万次样本的情况下，SOP+ERE在Ant和Humanoid环境中分别比SAC提升了21%和24%的样本效率。
• 完整的SOP+ERE算法在具有挑战性的连续控制任务中实现了最先进性能，同时保持了简洁性和极简性。
• 该方法具有鲁棒性，且已公开发布，支持可复现性和实际部署。