[论文解读] Online Transfer Learning in Reinforcement Learning Domains

Yusen Zhan, Matthew E. Taylor|arXiv (Cornell University)|Jul 2, 2015

Reinforcement Learning in Robotics参考文献 27被引用 25

一句话总结

本文提出了一种强化学习中的在线迁移学习框架，通过动作建议形式化代理之间的教学，证明了在有限建议下，Q-learning与Sarsa在表格表示和线性函数逼近下的收敛性。研究证实，教师建议不会降低渐近性能，并在线性链MDP和Pac-Man环境中通过实证验证了结果。

ABSTRACT

This paper proposes an online transfer framework to capture the interaction among agents and shows that current transfer learning in reinforcement learning is a special case of online transfer. Furthermore, this paper re-characterizes existing agents-teaching-agents methods as online transfer and analyze one such teaching method in three ways. First, the convergence of Q-learning and Sarsa with tabular representation with a finite budget is proven. Second, the convergence of Q-learning and Sarsa with linear function approximation is established. Third, the we show the asymptotic performance cannot be hurt through teaching. Additionally, all theoretical results are empirically validated.

研究动机与目标

• 将强化学习中的代理交互形式化为在线迁移学习，将传统迁移学习扩展至动态、实时场景。
• 在统一的在线迁移学习框架下重构现有的代理教学代理方法（如动作建议）。
• 理论上分析当学习代理接收有限教师建议时，Q-learning与Sarsa的收敛性及性能边界。
• 在简单MDP和复杂Pac-Man环境中实证验证理论结论。
• 建立教师建议不会降低学习算法渐近性能的结论，即使指导有限。

提出的方法

• 提出一种在线迁移学习框架，将强化学习中的师生交互建模为在线学习过程中的动态知识迁移。
• 将Lazaric（2012）的迁移学习分类法适配至在线场景，将动作建议视为一种实例迁移形式。
• 使用修改后的时序差分备份规则，结合Q-learning与Sarsa更新规则，以整合教师建议的动作。
• 在标准学习率条件和访问频率假设下，证明表格表示下Q-learning与Sarsa的收敛性。
• 在标准假设（如特征有界、步长递减）下，将收敛性分析扩展至线性函数逼近。
• 在线性链MDP和Pac-Man仿真环境中实证评估该框架，比较四种教学条件（正确、随机、差、无建议）下的总奖励。

实验结果

研究问题

• RQ1 通过动作建议实现的在线迁移学习是否能保证在表格设置下，有限建议的Q-learning与Sarsa收敛？
• RQ2 在有限建议下，Q-learning与Sarsa在线性函数逼近下是否也能建立收敛性？
• RQ3 教师建议对学习代理渐近性能的影响是否存在理论极限？
• RQ4 教师建议的质量是否在实践中影响总累积奖励，且该影响是否具有统计显著性？
• RQ5 所提出的框架能否在统一的理论基础上整合现有的代理教学代理方法？

主要发现

• 在标准学习率和访问频率条件下，使用表格表示的Q-learning与Sarsa在接收到有限建议时，收敛至最优Q值。
• 在标准特征与步长正则性条件下，使用线性函数逼近的Q-learning与Sarsa收敛至最优Q值。
• 教师建议不会降低Q-learning或Sarsa的渐近性能；无论建议质量如何，最优策略保持不变。
• 在线性链MDP和Pac-Man环境中的实证结果表明，不同教学条件下的总奖励存在统计显著差异（p < 4.6×10⁻¹³），正确教师指导表现最优。
• 正确教师条件在FR中达到平均总奖励3,746.75，在TR中达到341,790.99，显著高于无建议条件（FR为3,766.58，TR为318,072.70），验证了理论预测。
• 结果表明，尽管建议能提升学习速度和总奖励，但不会改变学习算法的根本渐近极限。