[论文解读] Multi-task Reinforcement Learning in Reproducing Kernel Hilbert Spaces via Cross-learning

Juan Cerviño, Juan Andrés Bazerque+2 more|arXiv (Cornell University)|Aug 27, 2020

Reinforcement Learning in Robotics参考文献 64被引用 8

一句话总结

该论文提出了一种跨学习（cross-learning）方法，这是一种多任务强化学习框架，通过在再生核希尔伯特空间（RKHS）中约束特定任务的策略与一个共享中心策略保持接近，从而实现对未见过但相关的任务的快速适应。通过将问题表述为带有投影策略梯度下降的约束优化问题，该方法实现了接近最优解的收敛，并在涉及新型障碍物形状的导航任务中表现出优越的泛化能力。

ABSTRACT

Reinforcement learning (RL) is a framework to optimize a control policy using rewards that are revealed by the system as a response to a control action. In its standard form, RL involves a single agent that uses its policy to accomplish a specific task. These methods require large amounts of reward samples to achieve good performance, and may not generalize well when the task is modified, even if the new task is related. In this paper we are interested in a collaborative scheme in which multiple agents with different tasks optimize their policies jointly. To this end, we introduce cross-learning, in which agents tackling related tasks have their policies constrained to be close to one another. Two properties make our new approach attractive: (i) it produces a multi-task central policy that can be used as a starting point to adapt quickly to one of the tasks trained for, in a situation when the agent does not know which task is currently facing, and (ii) as in meta-learning, it adapts to environments related but different to those seen during training. We focus on continuous policies belonging to reproducing kernel Hilbert spaces for which we bound the distance between the task-specific policies and the cross-learned policy. To solve the resulting optimization problem, we resort to a projected policy gradient algorithm and prove that it converges to a near-optimal solution with high probability. We evaluate our methodology with a navigation example in which agents can move through environments with obstacles of multiple shapes and avoid obstacles not trained for.

研究动机与目标

• 解决标准单任务强化学习在动态或未见环境中的样本效率低下和泛化能力差的问题。
• 通过引入一个共享中心策略，实现具有不同但相关任务的多个智能体之间的协作学习。
• 提升策略在训练期间未见过的任务上的泛化能力，模拟元学习行为，而无需事先了解任务分布知识。
• 开发一种适用于RKHS中连续策略的可扩展优化方法，即使在高维核表示下仍能保持收敛性保证。
• 在训练集中未包含的新型障碍物几何结构的导航任务中，展示方法的鲁棒性。

提出的方法

• 将多任务强化学习表述为一个约束优化问题，其中每个特定任务的策略被限制在再生核希尔伯特空间（RKHS）中，与一个共享中心策略保持有界距离。
• 使用二次约束二次规划（QCQP）将策略投影到由跨学习约束定义的可行集中，确保其与中心策略的接近性。
• 提出一种简化的、基于平均满足度的耦合约束松弛方法，以降低计算成本并实现闭式投影。
• 实现一种带有随机梯度估计的投影策略梯度算法，以处理部分可观测性并减少方差。
• 应用核近似技术（如Nystroem方法）降低核表示的维度，避免内存爆炸。
• 引入基于梯度范数和策略与中心策略接近度的停止准则，以确保收敛到接近最优解。

实验结果

研究问题

• RQ1 RKHS中的共享中心策略是否能改善在相关但不同的强化学习任务之间的泛化能力？
• RQ2 与标准单任务强化学习相比，跨学习在样本效率和未见任务性能方面表现如何？
• RQ3 在存在随机梯度和基于核的函数逼近时，投影策略梯度方法的收敛行为如何？
• RQ4 所提出的方法能否在训练期间未见的障碍物构型下，泛化到导航环境中的新障碍物配置？
• RQ5 耦合约束的松弛如何影响性能和计算复杂度，同时保持收敛性保证？

主要发现

• 所提出的跨学习方法生成的中心策略在所有训练任务中均表现出良好的泛化能力，并且相比单任务训练，显著提升了各个特定任务的策略性能。
• 投影策略梯度算法在标准梯度方差和利普希茨连续性假设下，以高概率收敛到最优解的邻域，该结论已得到证明。
• 基于平均约束满足度的松弛公式可获得闭式解，显著降低计算成本并简化分析，同时不损失收敛性保证。
• 在涉及多种障碍物形状的导航任务中，跨学习策略在测试未见障碍物几何结构时，优于特定任务的策略。
• 由于共享策略结构和基于核的函数逼近，该方法在任务数量增加时仍能保持鲁棒性能。
• 理论分析确认，该算法在梯度估计和策略更新步骤中保持有界误差，收敛速率取决于核近似的质量以及梯度方差的上界。