[论文解读] Transfer from Multiple MDPs

Alessandro Lazaric, Marcello Restelli|arXiv (Cornell University)|Aug 31, 2011

Reinforcement Learning in Robotics参考文献 11被引用 30

一句话总结

本文提出了一套理论与算法框架，用于将来自多个源马尔可夫决策过程（MDPs）的经验样本迁移至目标MDP，以加速学习。该框架引入了自适应算法（BAT与BTT），根据任务相似性动态加权源样本，显著减少了负面迁移，并提升了样本效率，尤其在目标数据稀缺时效果显著。

ABSTRACT

Transfer reinforcement learning (RL) methods leverage on the experience collected on a set of source tasks to speed-up RL algorithms. A simple and effective approach is to transfer samples from source tasks and include them into the training set used to solve a given target task. In this paper, we investigate the theoretical properties of this transfer method and we introduce novel algorithms adapting the transfer process on the basis of the similarity between source and target tasks. Finally, we report illustrative experimental results in a continuous chain problem.

研究动机与目标

• 解决在强化学习中重用多个不相似源任务样本时面临的负面迁移挑战。
• 形式化强化学习中的样本迁移问题，并分析其有限样本性能，以建立理论基础。
• 设计自适应算法，根据与目标任务的相似性自动选择并加权源任务，以优化学习效果。
• 研究在迁移学习中，训练数据量增加与来自不相似源样本的偏差之间的权衡。
• 在连续链式MDP环境中，通过实证验证理论发现，证明了样本效率的提升以及对负面迁移的鲁棒性。

提出的方法

• 提出AST（All-Source Transfer）作为基线算法，将所有源样本聚合至目标训练集，不进行过滤。
• 引入BAT（Best-Action Transfer），利用源MDP与目标MDP之间的相似性度量，选择最优的源任务子集进行迁移。
• 开发BTT（Bias-Tradeoff Transfer），一种更先进的算法，通过基于估计的任务相似性动态调整源权重，以平衡迁移收益与偏差。
• 使用生成模型形式化迁移问题，其中样本根据任务上的多项分布从源MDPs中抽取。
• 采用拟合Q-迭代（FQI）作为底层强化学习算法进行训练，将迁移样本整合至训练数据集中。
• 通过理论分析，界定了AST与BAT的泛化误差，表明性能取决于源任务构成的平均MDP以及其与目标的相似性。

实验结果

研究问题

• RQ1 从多个源MDP迁移样本如何影响强化学习中的泛化误差与样本复杂度？
• RQ2 包含不相似源样本对目标任务学习性能的理论影响是什么？
• RQ3 基于相似性的自适应源任务选择是否能减少负面迁移并提升学习效率，相较于简单聚合？
• RQ4 在强化学习的迁移学习中，数据量（更多样本）与数据质量（更近的相似性）之间的权衡如何影响性能？
• RQ5 在源样本有限的设置下，自适应算法如BTT在多大程度上能有效管理这一权衡？

主要发现

• 理论分析表明，AST的性能取决于源任务构成的平均MDP，其误差受目标MDP与平均源MDP之间距离的限制。
• BAT通过仅选择最相似的源任务来减少偏差，在源任务与目标相似性差异较大时，性能优于AST。
• BTT有效管理了数据量与相似性之间的权衡，在目标数据有限时，其性能优于单任务学习与非自适应迁移。
• 在链式MDP上的实证结果表明，当目标样本稀缺时，自适应迁移（尤其是BTT）能显著加速学习。
• 将源样本量从5,000增加到10,000可提升早期学习性能，但不影响最终性能，证实了BTT避免负面迁移的能力。
• BTT算法在目标数据增加时成功降低了对源样本的依赖，展示了对数据可用性的智能适应能力。