[论文解读] Target Transfer Q-Learning and Its Convergence Analysis

Yue Wang, Qi Meng+4 more|arXiv (Cornell University)|Sep 21, 2018

Distributed Sensor Networks and Detection Algorithms被引用 4

一句话总结

本文提出目标迁移Q学习（TTQL），一种新型强化学习方法，可在满足特定安全条件时，将源任务的Q函数迁移至目标任务，以加速学习。该方法通过利用迁移Q函数的贝尔曼误差作为安全准则，确保收敛速度优于标准Q学习，且在源与目标马尔可夫决策过程（MDP）相似时，具备收敛速率的理论保证。

ABSTRACT

Q-learning is one of the most popular methods in Reinforcement Learning (RL). Transfer Learning aims to utilize the learned knowledge from source tasks to help new tasks to improve the sample complexity of the new tasks. Considering that data collection in RL is both more time and cost consuming and Q-learning converges slowly comparing to supervised learning, different kinds of transfer RL algorithms are designed. However, most of them are heuristic with no theoretical guarantee of the convergence rate. Therefore, it is important for us to clearly understand when and how will transfer learning help RL method and provide the theoretical guarantee for the improvement of the sample complexity. In this paper, we propose to transfer the Q-function learned in the source task to the target of the Q-learning in the new task when certain safe conditions are satisfied. We call this new transfer Q-learning method target transfer Q-Learning. The safe conditions are necessary to avoid the harm to the new tasks and thus ensure the convergence of the algorithm. We study the convergence rate of the target transfer Q-learning. We prove that if the two tasks are similar with respect to the MDPs, the optimal Q-functions in the source and new RL tasks are similar which means the error of the transferred target Q-function in new MDP is small. Also, the convergence rate analysis shows that the target transfer Q-Learning will converge faster than Q-learning if the error of the transferred target Q-function is smaller than the current Q-function in the new task. Based on our theoretical results, we design the safe condition as the Bellman error of the transferred target Q-function is less than the current Q-function. Our experiments are consistent with our theoretical founding and verified the effectiveness of our proposed target transfer Q-learning method.

研究动机与目标

• 为解决Q学习在强化学习中因样本复杂度高而导致的收敛缓慢问题。
• 开发一种强化学习的迁移学习方法，提供理论收敛保证，区别于大多数现有启发式方法。
• 识别在何种安全条件下，从源任务迁移预训练的Q函数可提升新目标任务的学习效果。
• 建立一个理论框架，将MDP的相似性与迁移Q学习的收敛速度联系起来。
• 设计一种实际可行、可验证的安全条件，基于贝尔曼误差，以确保算法的稳定性和收敛性。

提出的方法

• 提出目标迁移Q学习（TTQL），将源任务的Q函数作为目标任务时序差分更新中的目标。
• 引入基于贝尔曼误差的安全条件：迁移Q函数的最大贝尔曼误差必须小于或等于目标任务当前Q函数的最大贝尔曼误差。
• 使用折扣相对Q函数误差比 $\gamma\beta$ 作为关键指标，分析收敛速率，其中 $\beta$ 为迁移Q函数的相对误差。
• 推导理论边界，表明仅当 $\gamma\beta < 1$ 时收敛才被保证，且 $\gamma\beta$ 越小，收敛越快。
• 建立最大范数误差（MNE）与最大贝尔曼误差（MNBE）之间的数学关系：$\mathbf{MNE}(Q) \leq \frac{\mathbf{MNBE}(Q)}{1 - \gamma}$，实现误差的实用估计。
• 采用两阶段分析：TTQL的误差由初始化误差和采样误差组成，二者均依赖于 $\gamma\beta$。

实验结果

研究问题

• RQ1 在何种条件下，将Q函数从源任务迁移到目标任务可提升Q学习的训练速度？
• RQ2 当在不同任务间迁移知识时，如何理论保证迁移Q学习的收敛性？
• RQ3 何种度量可作为安全且可验证的条件，以防止有害迁移并确保迁移Q学习的收敛性？
• RQ4 源与目标MDP之间的相似性如何影响TTQL的收敛速率？
• RQ5 能否将迁移Q函数的贝尔曼误差用作Q函数相对误差的实际代理，以实现运行时的安全检查？

主要发现

• 当源任务与目标任务的最优Q函数相似时（以折扣相对误差比 $\gamma\beta$ 衡量），TTQL的收敛速度优于标准Q学习。
• TTQL的收敛仅在折扣相对误差比 $\gamma\beta < 1$ 时被保证，且当 $\gamma\beta$ 接近1时收敛速度减慢。
• 基于贝尔曼误差的安全条件（$\mathbf{MNBE}(Q_1^*) \leq \mathbf{MNBE}(Q_n)$）可确保迁移Q函数不劣于当前估计，防止性能退化。
• 实验结果证实，TTQL在所有MDP变体（$\gamma$，$r$，$P$）中均优于标准Q学习，且在源-目标对更相似时收敛更快。
• 安全条件至关重要：无该条件的TTQL在某些情况下无法收敛，验证了其对稳定性的必要性。
• 理论关系 $\mathbf{MNE}(Q) \leq \frac{\mathbf{MNBE}(Q)}{1 - \gamma}$ 允许通过计算上可行的贝尔曼误差，实用估计Q函数误差。