[论文解读] Soft Hindsight Experience Replay

Qiwei He, Liansheng Zhuang+1 more|arXiv (Cornell University)|Feb 6, 2020

Reinforcement Learning in Robotics参考文献 23被引用 11

一句话总结

本文提出了一种名为软近端经验回放（SHER）的新方法，将最大熵强化学习（MERL）整合进近端经验回放（HER）中，以提升稀疏奖励连续控制环境中的训练稳定性和性能。通过以概率推理替代确定性策略学习，SHER在OpenAI Gym的挑战性手部操作任务上实现了最先进性能，相较于HER和CHER，收敛速度更快，且在不同随机种子下的方差显著降低。

ABSTRACT

Efficient learning in the environment with sparse rewards is one of the most important challenges in Deep Reinforcement Learning (DRL). In continuous DRL environments such as robotic arms control, Hindsight Experience Replay (HER) has been shown an effective solution. However, due to the brittleness of deterministic methods, HER and its variants typically suffer from a major challenge for stability and convergence, which significantly affects the final performance. This challenge severely limits the applicability of such methods to complex real-world domains. To tackle this challenge, in this paper, we propose Soft Hindsight Experience Replay (SHER), a novel approach based on HER and Maximum Entropy Reinforcement Learning (MERL), combining the failed experiences reuse and maximum entropy probabilistic inference model. We evaluate SHER on Open AI Robotic manipulation tasks with sparse rewards. Experimental results show that, in contrast to HER and its variants, our proposed SHER achieves state-of-the-art performance, especially in the difficult HandManipulation tasks. Furthermore, our SHER method is more stable, achieving very similar performance across different random seeds.

研究动机与目标

• 为解决近端经验回放（HER）在稀疏奖励连续控制环境中的不稳定性与收敛性差的问题，尤其是在复杂机器人操作任务中。
• 通过将最大熵强化学习（MERL）中的概率推理整合进HER框架，提升深度强化学习中的训练稳定性和收敛性。
• 评估MERL的概率特性是否能在不依赖课程学习或其他辅助技巧的情况下，提升多目标强化学习中的性能与鲁棒性。
• 分析MERL中温度超参数对SHER在不同环境中的性能与稳定性的影响。

提出的方法

• SHER将近端经验回放（HER）与最大熵强化学习（MERL）相结合，以随机策略优化替代确定性策略学习，从而提升探索能力与训练稳定性。
• 该方法基于概率推理推导出一种软目标函数，将达成的目标作为潜在目标，并引入熵正则化以鼓励多样且鲁棒的策略学习。
• SHER利用软Q学习与软演员-critic原理，在概率框架下优化策略，确保非零动作概率并实现更平滑的策略更新。
• 该算法通过将失败轨迹中的原始目标替换为达成的目标来重用轨迹，但基于熵正则化的值函数为这些目标分配软目标。
• 温度超参数α控制利用与探索之间的权衡，消融研究显示其在性能与收敛性中起关键作用。
• 该框架在OpenAI Gym机器人操作套件（包括Fetch和HandManipulation环境）上进行评估，以成功率和δS（稳定性度量）作为关键评估指标。

实验结果

研究问题

• RQ1 将最大熵强化学习（MERL）整合进近端经验回放（HER）是否能提升稀疏奖励机器人控制任务中的训练稳定性和收敛性？
• RQ2 所提出的SHER方法是否在不使用课程学习或演示数据的情况下，优于HER及其变体（如CHER）？
• RQ3 MERL中的温度超参数α在不同环境中如何影响SHER的性能与稳定性？
• RQ4 SHER在多随机种子下性能的方差降低程度如何，表明其鲁棒性提升？
• RQ5 SHER中的概率推理是否能带来更一致且可靠的多目标强化学习策略学习？

主要发现

• SHER在OpenAI Gym机器人操作基准测试中实现了最先进性能，在全部八个评估环境中均优于HER和CHER，包括最具挑战性的HandManipulation任务。
• 在HandManipulateEggFull环境中，SHER的平均成功率为0.098，优于HER（0.145）和CHER（0.109），表明其在高难度任务中表现更优。
• SHER在所有任务中均比HER和CHER收敛更快，训练曲线显示学习过程更平滑且更一致。
• 稳定性度量δS（即训练与测试成功率之间的绝对差值）在8个环境中的7个环境中均低于SHER，表明其在不同随机种子下方差更小，鲁棒性更强。
• 温度超参数α对性能有显著影响；在FetchSlide环境中，α = 0.05时表现最佳，而α = 0.1时性能更差，凸显了超参数仔细调优的重要性。
• SHER在不使用任何辅助技术（如课程学习或演示）的情况下，性能仍优于CHER，证明了所提出概率框架的独立有效性。