[论文解读] Watch, Try, Learn: Meta-Learning from Demonstrations and Rewards

Allan Zhou, Eric Jang+8 more|arXiv (Cornell University)|Apr 30, 2020

Reinforcement Learning in Robotics参考文献 37被引用 9

一句话总结

该论文提出了一种元学习框架，结合示范和稀疏奖励反馈，使智能体能够以极少的数据快速适应新的视觉控制任务。通过在元优化框架内整合模仿学习与强化学习，该方法在具有挑战性的控制基准测试中，相较于以往的元模仿学习和元强化学习方法，实现了更优的泛化能力和更高的样本效率。

ABSTRACT

Imitation learning allows agents to learn complex behaviors from demonstrations. However, learning a complex vision-based task may require an impractical number of demonstrations. Meta-imitation learning is a promising approach towards enabling agents to learn a new task from one or a few demonstrations by leveraging experience from learning similar tasks. In the presence of task ambiguity or unobserved dynamics, demonstrations alone may not provide enough information; an agent must also try the task to successfully infer a policy. In this work, we propose a method that can learn to learn from both demonstrations and trial-and-error experience with sparse reward feedback. In comparison to meta-imitation, this approach enables the agent to effectively and efficiently improve itself autonomously beyond the demonstration data. In comparison to meta-reinforcement learning, we can scale to substantially broader distributions of tasks, as the demonstration reduces the burden of exploration. Our experiments show that our method significantly outperforms prior approaches on a set of challenging, vision-based control tasks.

研究动机与目标

• 解决模仿学习在复杂视觉控制任务中需要大量示范的局限性。
• 通过结合试错经验与稀疏奖励，克服示范中的模糊性。
• 通过结合来自示范的先验学习与通过交互实现的自主改进，使智能体能够在广泛的任务分布上实现泛化。
• 通过利用示范数据引导策略学习，减轻元强化学习中的探索负担。

提出的方法

• 构建一个联合优化示范行为与稀疏奖励信号的元模仿学习与元强化学习框架。
• 使用元学习器，通过少量 few-shot 示范和稀疏奖励反馈，在适应过程中跨任务调整策略网络。
• 在统一的元优化目标中整合来自示范的行为克隆损失与基于稀疏奖励的强化学习目标。
• 利用共享的表示主干网络从观测中提取视觉特征，实现视觉相似任务间的迁移。
• 在多样化的任务上训练元学习器，以提升在推理阶段面对未见过任务时的零样本泛化能力。
• 应用基于梯度的元学习更新规则（例如 MAML 风格），实现在单个示范和稀疏奖励下的快速适应。

实验结果

研究问题

• RQ1 将示范与稀疏奖励结合，是否能超越仅使用示范的元模仿学习性能？
• RQ2 在少样本视觉控制任务中，引入试错经验在多大程度上能提升泛化能力和样本效率？
• RQ3 与纯元模仿学习和元强化学习相比，所提方法在性能和数据效率方面表现如何？
• RQ4 该方法能否在保持快速适应和高样本效率的同时，扩展到更广泛的任务分布？

主要发现

• 在具有挑战性的视觉控制任务上，所提方法显著优于以往的元模仿学习方法，即使每项任务仅提供一个示范。
• 由于示范引导减少了探索负担，该方法在多样化任务上的泛化能力优于元强化学习。
• 稀疏奖励反馈的整合使智能体能够自主改进，超越初始示范，纠正模糊性与未观测到的动力学。
• 该方法展现出强大的样本效率，相较于基线方法，以更少的环境交互次数学习到有效的策略。