[论文解读] Sample complexity of episodic fixed-horizon reinforcement learning

Christoph Dann, Emma Brunskill|arXiv (Cornell University)|Dec 7, 2015

Reinforcement Learning in Robotics参考文献 21被引用 85

一句话总结

该论文为回合制固定时域强化学习建立了紧致的样本复杂度界限，推导出匹配的上下界，分别为 O(|S|²|A|H²/∊² ln 1/δ) 和 Ω(|S||A|H²/∊² ln 1/δ + c)，在对数因子和线性 |S| 依赖性方面保持一致。通过使用伯恩斯坦不等式，该研究改进了以往依赖于 H³ 的时域依赖性。

ABSTRACT

Recently, there has been significant progress in understanding reinforcement learning in discounted infinite-horizon Markov decision processes (MDPs) by deriving tight sample complexity bounds. However, in many real-world applications, an interactive learning agent operates for a fixed or bounded period of time, for example tutoring students for exams or handling customer service requests. Such scenarios can often be better treated as episodic fixed-horizon MDPs, for which only looser bounds on the sample complexity exist. A natural notion of sample complexity in this setting is the number of episodes required to guarantee a certain performance with high probability (PAC guarantee). In this paper, we derive an upper PAC bound O(|S|2|A|H2/∊2 ln 1/δ) and a lower PAC bound Ω(|S||A|H2/∊2 ln 1/δ+c) that match up to log-terms and an additional linear dependency on the number of states |S|. The lower bound is the first of its kind for this setting. Our upper bound leverages Bernstein's inequality to improve on previous bounds for episodic finite-horizon MDPs which have a time-horizon dependency of at least H3.

研究动机与目标

• 为回合制固定时域马尔可夫决策过程中的样本复杂度现有上下界之间的差距提供填补。
• 为固定时域回合制强化学习中的样本复杂度建立首个已知的下界。
• 通过利用伯恩斯坦不等式，改进以往依赖于 H³ 的上界。
• 为固定时域马尔可夫决策过程提供一个 PAC 学习保证，其对状态空间 |S|、动作空间 |A|、时域 H 和误差 ∊ 的依赖关系具有紧致性。

提出的方法

• 使用伯恩斯坦不等式推导出一个上界 PAC 界，以收紧对时域 H 的依赖性。
• 构建一个下界实例，以证明固定时域马尔可夫决策过程的首个已知 Ω(|S||A|H²/∊² ln 1/δ + c) 样本复杂度下界。
• 分析在 PAC 学习背景下，回合长度 H、状态空间大小 |S| 和动作空间 |A| 之间的相互作用。
• 使用集中不等式来限制在固定时域回合中值函数近似下的估计误差。
• 将推导出的界限与先前结果进行比较，以展示 H 依赖性从 H³ 到 H² 的改进。

实验结果

研究问题

• RQ1 在固定时域马尔可夫决策过程中，实现 PAC 保证所需回合数的最紧致上界是什么？
• RQ2 固定时域回合制强化学习的样本复杂度的根本下界是什么？
• RQ3 样本复杂度如何随状态数 |S|、动作数 |A|、时域 H 和期望精度 ∊ 变化？
• RQ4 先前上界中的 H³ 依赖性是否可以改进？如果可以，通过何种技术实现？

主要发现

• 样本复杂度的上界为 O(|S|²|A|H²/∊² ln 1/δ)，通过伯恩斯坦不等式改进了以往的 H³ 依赖性。
• 固定时域马尔可夫决策过程的首个已知下界为 Ω(|S||A|H²/∊² ln 1/δ + c)，与上界在对数因子范围内匹配。
• 上下界在 |S|、|A|、H、∊ 和 δ 的依赖关系上一致，仅在对数项和线性 |S| 因子上存在差异。
• H 依赖性从 H³ 改进为 H²，显著收紧了固定时域强化学习的理论保证。