[论文解读] Pretraining Deep Actor-Critic Reinforcement Learning Algorithms With Expert Demonstrations

Xiaoqin Zhang, Huimin Ma|arXiv (Cornell University)|Jan 31, 2018

Reinforcement Learning in Robotics参考文献 18被引用 32

一句话总结

本文提出了一种新颖的预训练方法，用于演员-评论家强化学习算法，利用专家演示进行预训练，且不假设这些演示是全局最优的。该方法仅基于专家轨迹推导出策略和价值函数更新的理论梯度，从而在连续控制和离散控制环境中实现更快、更高效的模拟训练，优于DDPG和ACER的非预训练基线模型。

ABSTRACT

Pretraining with expert demonstrations have been found useful in speeding up the training process of deep reinforcement learning algorithms since less online simulation data is required. Some people use supervised learning to speed up the process of feature learning, others pretrain the policies by imitating expert demonstrations. However, these methods are unstable and not suitable for actor-critic reinforcement learning algorithms. Also, some existing methods rely on the global optimum assumption, which is not true in most scenarios. In this paper, we employ expert demonstrations in a actor-critic reinforcement learning framework, and meanwhile ensure that the performance is not affected by the fact that expert demonstrations are not global optimal. We theoretically derive a method for computing policy gradients and value estimators with only expert demonstrations. Our method is theoretically plausible for actor-critic reinforcement learning algorithms that pretrains both policy and value functions. We apply our method to two of the typical actor-critic reinforcement learning algorithms, DDPG and ACER, and demonstrate with experiments that our method not only outperforms the RL algorithms without pretraining process, but also is more simulation efficient.

研究动机与目标

• 解决深度强化学习因需要大量在线模拟数据而导致的效率低下问题。
• 克服现有预训练方法中假设专家演示为全局最优的局限性。
• 提出一种理论严谨的方法，仅使用专家演示对演员-评论家框架中的策略和价值函数进行预训练。
• 确保预训练过程提升样本效率和性能，且在预训练后不降低策略性能。
• 实现在连续控制和高维离散控制环境（如Atari游戏）中的泛化能力。

提出的方法

• 基于定理1，仅使用专家演示推导出策略梯度和价值估计器更新，无需假设专家为全局最优。
• 制定策略梯度更新（公式8），利用专家动作和状态-动作值来初始化策略网络。
• 开发价值函数更新（公式9），使用专家状态-动作值估计来预训练评论家网络。
• 将预训练过程集成到DDPG和ACER等演员-评论家算法中，使用相同的训练循环，但以专家数据进行初始化。
• 在ACER实验中应用信任区域更新，以在预训练后的微调阶段保持策略稳定性。
• 在ACER中采用双输出神经网络架构，联合预测策略和Q值，且将预训练应用于两个分支。

实验结果

研究问题

• RQ1 是否可以仅使用专家演示在演员-评论家强化学习中预训练策略和价值函数，而无需假设专家为全局最优？
• RQ2 使用专家数据进行预训练是否能提升DDPG和ACER等深度演员-评论家算法的样本效率和最终性能？
• RQ3 预训练过程对策略性能的影响如何，特别是在预训练期间和之后是否存在性能下降或稳定性问题？
• RQ4 所提出的方法是否能在不同环境中实现泛化，包括连续控制和高维离散控制（如Atari游戏）？
• RQ5 在相同模拟步数下，与端到端强化学习训练相比，该预训练过程是否更具模拟效率？

主要发现

• 在HalfCheetah、Hopper和Walker2d环境中，采用所提预训练方法的DDPG优于标准DDPG，且在预训练结束后学习速度更快。
• 在HalfCheetah环境中，预训练阶段提供了良好的初始化，尽管预训练后出现短暂性能下降，但策略仍迅速超越基线。
• 在Hopper和Walker2d环境中，平滑后的结果表明，预训练可实现更快收敛，尽管单次运行结果不稳定。
• 在所有测试的Atari环境（AirRaid、Breakout、Carnival、CrazyClimber、Gopher）中，采用预训练的ACER均优于基线ACER，且改进稳定。
• 与DDPG不同，ACER在预训练后未出现性能下降，因为预训练阶段的零优势函数使策略梯度更新保持稳定。
• 与基线强化学习算法相比，该方法更具模拟效率，因为在相同模拟步数下可实现更优性能。