[论文解读] Multi-Task Reinforcement Learning as a Hidden-Parameter Block MDP

Amy Zhang, Shagun Sodhani+2 more|arXiv (Cornell University)|Jul 14, 2020

Reinforcement Learning in Robotics参考文献 29被引用 4

一句话总结

本文提出 HiP-BMDP，一种新型框架，将多任务强化学习建模为隐参数块MDP，以在少样本设定下提升样本效率和泛化能力。通过利用通用动态模型和表示结构在任务间共享信息，该方法实现了依赖于总样本数而非任务数量的更紧致的样本复杂度边界，在实验中优于先前方法。

ABSTRACT

Multi-task reinforcement learning is a rich paradigm where information from previously seen environments can be leveraged for better performance and improved sample-efficiency in new environments. In this work, we leverage ideas of common structure underlying a family of Markov decision processes (MDPs) to improve performance in the few-shot regime. We use assumptions of structure from Hidden-Parameter MDPs and Block MDPs to propose a new framework, HiP-BMDP, and approach for learning a common representation and universal dynamics model. To this end, we provide transfer and generalization bounds based on task and state similarity, along with sample complexity bounds that depend on the aggregate number of samples across tasks, rather than the number of tasks, a significant improvement over prior work. To demonstrate the efficacy of the proposed method, we empirically compare and show improvements against other multi-task and meta-reinforcement learning baselines.

研究动机与目标

• 通过利用任务间的共同结构模式，提升多任务强化学习中的样本效率和泛化能力。
• 解决在每个任务仅有有限数据可用的少样本设定下有效学习的挑战。
• 开发一种统一的表示和动态模型，使其能在多样但结构相似的MDP间泛化。
• 推导依赖于任务和状态相似性的迁移与泛化理论边界，而非任务数量。
• 通过使样本复杂度随任务间总样本数而非任务数量增长，降低样本复杂度。

提出的方法

• 将多任务强化学习形式化为隐参数块MDP（HiP-BMDP），以捕捉相关MDP之间的共享结构。
• 学习一个通用动态模型，通过建模状态和动作块之间的共享参数，在任务间实现泛化。
• 使用统一的表示空间对各任务中的状态-动作对进行嵌入，实现知识迁移。
• 基于任务和状态相似性度量，推导迁移与泛化性能的理论边界。
• 建立样本复杂度边界，使其随任务间样本总数增长，而非任务数量。
• 采用元优化策略，联合训练任务间的共享表示和动态模型。

实验结果

研究问题

• RQ1 如何利用一组MDP之间的共享结构模式，以提升多任务强化学习中的样本效率？
• RQ2 在此类结构化多任务设定下，可以为迁移与泛化提供哪些理论保证？
• RQ3 所提方法的样本复杂度如何随任务数量和总样本数变化？
• RQ4 在少样本设定下，跨任务训练的通用动态模型能否有效泛化到新的、未见的任务？
• RQ5 所提的 HiP-BMDP 框架与现有多任务和元强化学习基线相比，实证表现如何？

主要发现

• 与现有多任务和元强化学习基线相比，所提 HiP-BMDP 框架在少样本设定下实现了更高的样本效率和更强的泛化能力。
• 理论边界表明，迁移与泛化性能取决于任务和状态相似性，而非任务数量。
• 样本复杂度随任务间总样本数增长，而非任务数量，相较于先前工作有显著改进。
• 实证结果表明，在多个基准环境上均表现出一致的性能提升，验证了共享表示和通用动态模型的有效性。
• 该方法在未见任务上泛化良好，表明结构化MDP假设带来了强大的归纳偏置。