[论文解读] The Teaching Dimension of Q-learning

Xuezhou Zhang, Shubham Bharti+3 more|arXiv (Cornell University)|Jun 16, 2020

Neural Networks and Applications被引用 6

一句话总结

本文为Q-learning提出了教学维数（TDim），用于刻画在不同教师类型下实现高效强化学习所需的最少训练样本数量。该研究提出了最优教学算法，通过战略性地提供示范来加速智能体学习，从而补充了强化学习中标准的PAC风格样本复杂度分析。

ABSTRACT

In this paper, we initiate the study of sample complexity of teaching, termed as (TDim) in the literature, for Q-learning. While the teaching dimension of supervised learning has been studied extensively, these results do not extend to reinforcement learning due to the temporal constraints posed by the underlying Markov Decision Process environment. We characterize the TDim of Q-learning under different teachers with varying control over the environment, and present matching optimal teaching algorithms. Our TDim results provide the minimum number of samples needed for reinforcement learning, thus complementing standard PAC-style RL sample complexity analysis. Our teaching algorithms have the potential to speed up RL agent learning in applications where a helpful teacher is available.

研究动机与目标

• 研究Q-learning中的教学样本复杂度，填补现有监督学习教学维数研究中的空白。
• 解决马尔可夫决策过程中的时间约束问题，该问题阻碍了监督学习教学结果的直接推广。
• 刻画在不同教师对环境控制程度下Q-learning的教学维数（TDim）。
• 设计最优教学算法，以最小化有效强化学习智能体训练所需的样本数量。
• 通过教学中心框架补充标准的PAC风格强化学习样本复杂度分析。

提出的方法

• 为MDP环境中的Q-learning提出了一种专门定制的教学维数（TDim）的正式定义。
• 在不同教师控制模式下分析TDim：从对环境的完全控制到仅有限的观测访问。
• 设计最优教学算法，以最小化教学Q-learning智能体所需的样本数量。
• 通过理论分析推导出不同教师设置下TDim的下界和上界。
• 将该框架应用于比较不同教师类型的教学效率，识别出最优教学策略。
• 建立教学效率与标准强化学习样本复杂度之间的联系，为学习效率提供双重视角。

实验结果

研究问题

• RQ1 在不同教师控制水平下，教学Q-learning智能体所需的最少样本数量是多少？
• RQ2 由于MDP中的时间依赖性，Q-learning的教学维数（TDim）与监督学习中的TDim有何不同？
• RQ3 哪些是最优教学策略，可使Q-learning收敛所需的样本数量最小化？
• RQ4 教学维数分析能否补充标准PAC风格的强化学习样本复杂度？
• RQ5 环境结构和教师访问权限如何影响Q-learning中知识迁移的效率？

主要发现

• Q-learning的教学维数（TDim）在不同教师控制水平下被正式定义并加以刻画，揭示了基本的样本复杂度边界。
• TDim为教学Q-learning智能体所需的最少样本数量提供了下界，为分析学习效率提供了新视角。
• 构建了达到所推导TDim边界的最优教学算法，确保样本使用最小化。
• 结果表明，完全教师控制可实现最低的TDim，显著减少收敛所需的样本数量。
• 该框架通过引入强化学习效率的教学中心视角，补充了标准PAC风格的样本复杂度分析。
• 本研究确立了MDP中的时间约束要求对教学维数进行独立分析，其结果无法从监督学习中推导得出。