[论文解读] Sample Complexity of Multi-task Reinforcement Learning

Emma Brunskill, Lihong Li|arXiv (Cornell University)|Sep 26, 2013

Reinforcement Learning in Robotics参考文献 17被引用 46

一句话总结

本文提出了一种多任务强化学习算法，通过在来自有限MDP未知分布的一系列任务之间迁移知识，降低了每项任务的样本复杂度。在温和假设下，证明了迁移显著提高了样本效率，同时保证不会产生负面迁移——其最坏情况性能与单任务学习相当。

ABSTRACT

Transferring knowledge across a sequence of reinforcement-learning tasks is challenging, and has a number of important applications. Though there is encouraging empirical evidence that transfer can improve performance in subsequent reinforcement-learning tasks, there has been very little theoretical analysis. In this paper, we introduce a new multi-task algorithm for a sequence of reinforcement-learning tasks when each task is sampled independently from (an unknown) distribution over a finite set of Markov decision processes whose parameters are initially unknown. For this setting, we prove under certain assumptions that the per-task sample complexity of exploration is reduced significantly due to transfer compared to standard single-task algorithms. Our multi-task algorithm also has the desired characteristic that it is guaranteed not to exhibit negative transfer: in the worst case its per-task sample complexity is comparable to the corresponding single-task algorithm. 1

研究动机与目标

• 理论分析当任务从有限MDP的未知分布中抽取时，多任务强化学习的样本复杂度。
• 开发一种利用任务间知识迁移以提高样本效率的多任务算法。
• 确保算法避免负面迁移，最坏情况下仍保持单任务学习的性能。
• 建立由于迁移导致每项任务样本复杂度降低的理论保证。

提出的方法

• 该算法在一系列独立任务中运行，每个任务均从有限MDP集合的未知分布中采样。
• 采用元学习方法在任务间共享经验并更新策略，以提升泛化能力。
• 该方法假设MDP参数初始未知，但属于有限集合，从而支持结构化迁移。
• 采用基于任务间共享知识自适应调整的探索策略，减少冗余探索。
• 理论分析依赖于使用集中不等式对每项任务的样本复杂度进行上界估计，并结合由迁移引起的方差减少。
• 该算法设计确保即使迁移失败，也能维持单任务学习的性能边界，从而保证不会产生负面迁移。

实验结果

研究问题

• RQ1 在多个强化学习任务之间进行知识迁移，能否降低每项任务的探索样本复杂度？
• RQ2 在何种条件下，迁移能带来可证明的样本效率提升？
• RQ3 能否保证多任务RL算法避免负面迁移，即使在最坏情况下？
• RQ4 在相同假设下，所提算法的样本复杂度与单任务基线相比如何？

主要发现

• 所提出的多任务算法由于知识迁移，显著降低了每项任务的样本复杂度。
• 该算法保证不会产生负面迁移，确保最坏情况性能与单任务学习相当。
• 在任务从具有未知参数的有限MDP分布中抽取的假设下，样本复杂度得以降低。
• 理论分析证实，迁移提高了探索效率，同时在对抗性环境下保持了鲁棒性。