[论文解读] VRL3: A Data-Driven Framework for Visual Deep Reinforcement Learning

Che Wang, Xufang Luo+2 more|arXiv (Cornell University)|Feb 17, 2022

Tactile and Sensory Interactions被引用 5

一句话总结

VRL3 是一种数据驱动的三阶段视觉深度强化学习框架，利用非强化学习数据集（例如 ImageNet）、离线专家演示和在线强化学习，实现了最先进水平的样本效率。其在手部操作任务上的样本效率最高提升 780%，在最困难的任务上提升达 1220%，相比之前的 SOTA 方法，计算量减少了 90%。

ABSTRACT

We propose VRL3, a powerful data-driven framework with a simple design for solving challenging visual deep reinforcement learning (DRL) tasks. We analyze a number of major obstacles in taking a data-driven approach, and present a suite of design principles, novel findings, and critical insights about data-driven visual DRL. Our framework has three stages: in stage 1, we leverage non-RL datasets (e.g. ImageNet) to learn task-agnostic visual representations; in stage 2, we use offline RL data (e.g. a limited number of expert demonstrations) to convert the task-agnostic representations into more powerful task-specific representations; in stage 3, we fine-tune the agent with online RL. On a set of challenging hand manipulation tasks with sparse reward and realistic visual inputs, compared to the previous SOTA, VRL3 achieves an average of 780% better sample efficiency. And on the hardest task, VRL3 is 1220% more sample efficient (2440% when using a wider encoder) and solves the task with only 10% of the computation. These significant results clearly demonstrate the great potential of data-driven deep reinforcement learning.

研究动机与目标

• 为解决在稀疏奖励和真实视觉输入下视觉深度强化学习中样本效率低下的挑战。
• 开发一种简单但强大的框架，充分利用多样化数据源：非强化学习数据集、离线演示数据和在线强化学习数据。
• 通过在结构化、模块化的流程中整合多源数据，提升视觉控制任务中的泛化能力和鲁棒性。
• 通过开源代码、详尽的消融实验以及与重新实现的强基线方法对比，最大程度提升方法的可复现性。

提出的方法

• 在第一阶段，使用大规模非强化学习数据集（如 ImageNet）对视觉编码器进行预训练，以学习与任务无关的视觉表征。
• 在第二阶段，使用预训练的编码器初始化一个演员-评论家强化学习智能体，并利用离线强化学习技术在专家演示或收集的离线数据上进行微调。
• 在第二阶段，编码器与策略-评论家组件共同优化，以学习与任务相关的表征。
• 在第三阶段，使用从离线数据初始化的回放缓冲区，应用在线 off-policy 强化学习，并通过约束的 Q-target 更新防止灾难性遗忘。
• 该框架采用 off-policy 训练方式，以最大化数据复用，并确保在所有三个阶段中的训练稳定性。
• 通过超参数敏感性分析和精心设计的网络架构，增强模型鲁棒性，确保从非强化学习任务到视觉强化学习任务的平滑领域迁移。

实验结果

研究问题

• RQ1 一种结合非强化学习、离线和在线数据的数据驱动框架，能否显著提升视觉 DRL 中的样本效率？
• RQ2 在大规模非强化学习数据集（如 ImageNet）上进行预训练，对稀疏奖励环境下的下游视觉控制性能有何影响？
• RQ3 当与预训练的视觉表征结合时，离线演示在视觉 DRL 中能多大程度上提升学习效率？
• RQ4 在多阶段框架中，从离线强化学习过渡到在线强化学习时，如何保持训练稳定性？
• RQ5 架构选择（如编码器宽度）对最终样本效率和性能有何影响？

主要发现

• 在一组具有稀疏奖励的挑战性视觉控制任务上，VRL3 相较于之前的 SOTA 方法，平均样本效率提升了 780%。
• 在最困难的任务上，VRL3 的样本效率比之前的方法高出 1220%；当使用更宽的编码器时，效率提升进一步增至 2440%。
• VRL3 仅使用之前 SOTA 方法所需 10% 的计算量，便成功解决了最困难的任务，展现出显著的效率优势。
• 在 Adroit 基准测试中，VRL3 表现优于基线方法，以远少于其他方法的数据样本量实现了 95% 的成功率。
• 广泛的消融实验表明，每一阶段均对性能有显著贡献，且该方法在超参数变化下仍保持鲁棒性。
• 该框架具备可复现性，已开源，包含完整的技术细节和重新实现的基线方法，以确保公平比较。