[论文解读] The Online Discovery Problem and Its Application to Lifelong Reinforcement Learning.

Emma Brunskill, Lihong Li|arXiv (Cornell University)|Jun 10, 2015

Reinforcement Learning in Robotics参考文献 15被引用 4

一句话总结

本文提出了一种在线发现问题，以实现跨一系列具有共享状态/动作空间但转移和奖励不同的相关MDP的高效终身强化学习。该方法提出了一种最优学习算法，通过利用跨任务探索与迁移，即使在对抗性任务排序下，也显著降低了整体样本复杂度，相较于单任务学习有明显优势。

ABSTRACT

Transferring knowledge across a sequence of related tasks is an important challenge in reinforcement learning. Despite much encouraging empirical evidence that shows benefits of transfer, there has been very little theoretical analysis. In this paper, we study a class of lifelong reinforcement-learning problems: the agent solves a sequence of tasks modeled as finite Markov decision processes (MDPs), each of which is from a finite set of MDPs with the same state/action spaces and different transition/reward functions. Inspired by the need for cross-task exploration in lifelong learning, we formulate a novel online discovery problem and give an optimal learning algorithm to solve it. Such results allow us to develop a new lifelong reinforcement-learning algorithm, whose overall sample complexity in a sequence of tasks is much smaller than that of single-task learning, with high probability, even if the sequence of tasks is generated by an adversary. Benefits of the algorithm are demonstrated in a simulated problem.

研究动机与目标

• 解决知识迁移在顺序强化学习任务中缺乏理论分析的问题。
• 构建一种新颖的在线发现问题，以建模终身学习设置中的跨任务探索。
• 设计一种算法，以最小化具有共享结构的一系列任务的总体样本复杂度。
• 在对抗性任务排序下保持鲁棒性，同时维持高概率性能保证。
• 通过模拟环境中的实证评估，展示该方法的实际优势。

提出的方法

• 将终身强化学习建模为从具有相同状态和动作空间的有限MDP集合中依次采样的有限MDP序列。
• 将在线发现问题形式化为一项学习任务，其中智能体必须实时识别并适应新的MDP。
• 设计一种最优学习算法，以平衡任务间的探索与已知任务结构的利用。
• 采用元学习器框架，基于观测到的转移和奖励，维护并更新跨任务的策略。
• 利用MDP之间的共享结构，减少冗余学习并加速收敛。
• 通过采用针对任务发现量身定制的探索策略，确保样本复杂度的高概率边界。

实验结果

研究问题

• RQ1 在终身学习设置中，如何有效实现一系列相关MDP之间的知识迁移？
• RQ2 在顺序任务执行过程中，实时发现并适应新MDP的最优方式是什么？
• RQ3 在对抗性任务序列中，学习算法能否实现显著低于单任务学习的样本复杂度？
• RQ4 在具有跨任务探索的终身强化学习中，可以为样本效率和收敛性提供哪些理论保证？
• RQ5 与单任务学习相比，该方法在整体学习效率方面表现如何？

主要发现

• 所提出的算法在一系列任务上的总体样本复杂度显著低于单任务学习。
• 即使任务序列由对手选择，该算法仍能维持高概率性能保证。
• 跨任务探索可加快收敛速度，并减少在相关MDP间学习的冗余。
• 理论分析证实，该算法对于所提出的在线发现问题是最优的。
• 模拟环境中的实证结果验证了该方法在样本效率和迁移性能方面的优势。
• 该方法通过利用MDP之间的结构相似性，实现了有效的终身学习，且无需事先知晓任务序列。