[论文解读] Pretraining in Deep Reinforcement Learning: A Survey

Zhihui Xie, Zichuan Lin+3 more|arXiv (Cornell University)|Nov 8, 2022

Reinforcement Learning in Robotics被引用 11

一句话总结

本综述全面概述了深度强化学习（DRL）中的预训练方法，将方法分类为在线预训练、离线预训练和通用型预训练范式。它识别出DRL预训练中的关键挑战——如样本效率、任务特异性和数据多样性——并提出了可扩展、可迁移DRL智能体的设计原则、架构及未来研究方向。

ABSTRACT

The past few years have seen rapid progress in combining reinforcement learning (RL) with deep learning. Various breakthroughs ranging from games to robotics have spurred the interest in designing sophisticated RL algorithms and systems. However, the prevailing workflow in RL is to learn tabula rasa, which may incur computational inefficiency. This precludes continuous deployment of RL algorithms and potentially excludes researchers without large-scale computing resources. In many other areas of machine learning, the pretraining paradigm has shown to be effective in acquiring transferable knowledge, which can be utilized for a variety of downstream tasks. Recently, we saw a surge of interest in Pretraining for Deep RL with promising results. However, much of the research has been based on different experimental settings. Due to the nature of RL, pretraining in this field is faced with unique challenges and hence requires new design principles. In this survey, we seek to systematically review existing works in pretraining for deep reinforcement learning, provide a taxonomy of these methods, discuss each sub-field, and bring attention to open problems and future directions.

研究动机与目标

• 系统化并分类现有深度强化学习中的预训练方法，涵盖在线、离线和通用型范式。
• 识别源于强化学习顺序性、试错性质以及稀疏奖励信号的DRL预训练特有挑战。
• 强调预训练在提升样本效率、泛化能力和可扩展性方面的关键作用。
• 通过提出大规模DRL预训练的开放问题与设计原则，为未来研究奠定基础。
• 弥合自然语言处理（NLP）与计算机视觉（CV）中预训练的成功与强化学习中尚未充分探索的潜力之间的差距。

提出的方法

• 将DRL中的预训练分为三类主要类别：在线预训练（从无奖励的交互中学习）、离线预训练（使用次优或专家示范数据）以及通用型预训练（从多样化、任务无关的数据中学习）。
• 分析预训练中使用的自监督与对比表示学习技术，如动作预测、未来状态预测，以及对状态-动作对的对比学习。
• 回顾世界模型预训练，即智能体从视频或轨迹数据中学习环境动态，以实现快速适应。
• 探讨基础模型与缩放定律在DRL中的应用，借鉴NLP与CV中大模型的实践经验。
• 讨论微调、提示调优与奖励建模等适应技术，用于将预训练策略适配至下游任务。
• 提出一个统一的DRL预训练框架，强调架构选择、数据多样性与可迁移性评估协议。

实验结果

研究问题

• RQ1 DRL中的预训练如何提升样本效率，减少从零开始进行任务特定训练的需求？
• RQ2 与监督学习或NLP相比，将预训练应用于强化学习时的关键差异与挑战是什么？
• RQ3 如何利用离线与在线预训练构建具备零样本或少样本适应能力的通用型智能体？
• RQ4 在DRL中实现超人类性能的规模化预训练时，哪些架构与训练设计最为有效？
• RQ5 通用型与可扩展强化学习智能体的预训练中，存在哪些开放问题与未来研究方向？

主要发现

• DRL中的预训练显著提升了样本效率，并实现了对下游任务的快速适应，减少了对大量在线交互的依赖。
• 使用次优或专家示范数据的离线预训练可实现有效的策略迁移，在MOBA游戏和机器人操作等复杂环境中已取得成功。
• 通过多样化、任务无关的数据与大规模模型进行通用型预训练，在多个领域实现零样本或少样本泛化方面展现出巨大潜力。
• 对比学习与自监督表示学习技术（如预测未来状态或动作）在学习可迁移特征方面表现优异。
• 通过世界模型或动态预测器进行预训练，使智能体能够在稀疏奖励环境中实现规划与跨任务泛化。
• 缩放定律与架构选择（如基于Transformer的策略）对于释放DRL中预训练的全部潜力至关重要，近期在游戏环境中的超人类表现已证明这一点。