[论文解读] Soft Actor-Critic Algorithms and Applications

Tuomas Haarnoja, Aurick Zhou+9 more|arXiv (Cornell University)|Dec 13, 2018

Reinforcement Learning in Robotics参考文献 44被引用 1,935

一句话总结

本文提出 Soft Actor-Critic（SAC），一种基于最大熵强化学习并具自动温度调整的离策略演员- critic 算法，在连续控制任务和实际机器人应用中实现了强的样本效率和稳定性。

ABSTRACT

Model-free deep reinforcement learning (RL) algorithms have been successfully applied to a range of challenging sequential decision making and control tasks. However, these methods typically suffer from two major challenges: high sample complexity and brittleness to hyperparameters. Both of these challenges limit the applicability of such methods to real-world domains. In this paper, we describe Soft Actor-Critic (SAC), our recently introduced off-policy actor-critic algorithm based on the maximum entropy RL framework. In this framework, the actor aims to simultaneously maximize expected return and entropy. That is, to succeed at the task while acting as randomly as possible. We extend SAC to incorporate a number of modifications that accelerate training and improve stability with respect to the hyperparameters, including a constrained formulation that automatically tunes the temperature hyperparameter. We systematically evaluate SAC on a range of benchmark tasks, as well as real-world challenging tasks such as locomotion for a quadrupedal robot and robotic manipulation with a dexterous hand. With these improvements, SAC achieves state-of-the-art performance, outperforming prior on-policy and off-policy methods in sample-efficiency and asymptotic performance. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving similar performance across different random seeds. These results suggest that SAC is a promising candidate for learning in real-world robotics tasks.

研究动机与目标

• 激励克服现实世界任务中无模型深度强化学习的高样本复杂性和超参数脆弱性。
• 提出一个离策略的 actor-critic 框架，目标同时最大化回报和策略熵。
• 引入自动熵调节，以减少每个任务的超参数调优。
• 在基准控制任务以及现实世界的机器人操作和运动任务上对 SAC 进行经验验证。

提出的方法

• 将 SAC 构建为一个离策略的 actor-critic 算法，具有随机策略和软 Q 函数。
• 优化两个软 Q 函数以降低正偏差，并在更新中使用最小值。
• 使用重参数化技巧将梯度反向传播通过随机策略。
• 采用带有可学习温度参数 alpha 的熵正则化目标，通过对偶梯度更新实现。
• 为离策略数据使用回放池，并使用目标网络以实现稳定性。
• 提供一个自动熵调节机制，通过对偶目标将策略熵约束为与目标相匹配。

实验结果

研究问题

• RQ1 相对于现有的 on-policy 和 off-policy 方法，SAC 是否在连续控制任务上提升样本效率和最终性能？
• RQ2 将最大熵与自动温度调优结合是否在不同任务和不同随机种子下产生更稳定的训练？
• RQ3 在使用图像观测或高维传感器的现实世界机器人任务中，SAC 的表现如何？

主要发现

• 与现有的离策略和 on-policy 方法相比，SAC 在样本效率和渐近性能方面达到或接近最佳水平。
• 该算法表现出很强的稳定性，在不同随机种子下表现相似。
• 两個软Q函数和自动熵调节机制有助于改进训练稳定性和数据效率。
• SAC 能可靠处理诸如四足行走和从图像观测进行的灵巧机器人操控等具有挑战性的现实世界任务。