[论文解读] Near-optimal Optimistic Reinforcement Learning using Empirical Bernstein Inequalities

Aristide C. Y. Tossou, Debabrota Basu+1 more|arXiv (Cornell University)|May 27, 2019

Reinforcement Learning in Robotics参考文献 22被引用 12

一句话总结

该论文提出UCRL-V，一种针对有限连通MDP的基于模型强化学习算法，利用经验伯恩斯坦不等式构建考虑方差的置信区间。通过利用这些更紧致的边界，UCRL-V实现了近似最优的遗憾度 $ ilde{/mathcal{O}}(ackslash sqrt{DSAT})$，在不增加对MDP的额外假设条件下，填补了与已知下界之间的差距。

ABSTRACT

We study model-based reinforcement learning in an unknown finite communicating Markov decision process. We propose a simple algorithm that leverages a variance based confidence interval. We show that the proposed algorithm, UCRL-V, achieves the optimal regret $ ilde{\mathcal{O}}(\sqrt{DSAT})$ up to logarithmic factors, and so our work closes a gap with the lower bound without additional assumptions on the MDP. We perform experiments in a variety of environments that validates the theoretical bounds as well as prove UCRL-V to be better than the state-of-the-art algorithms.

研究动机与目标

• 解决现有乐观强化学习算法在有限连通MDP中与已知的 $\Omega(\sqrt{DSAT})$ 下界之间的遗憾差距。
• 设计一种基于模型的强化学习算法，实现在不依赖MDP结构额外假设情况下的最优遗憾度。
• 通过利用经验伯恩斯坦不等式引入方差信息，改进探索过程中的置信区间估计。
• 通过在多样化环境中进行实证评估，验证理论改进的有效性。

提出的方法

• 该算法使用经验伯恩斯坦不等式构建奖励和转移概率的置信区间，该方法考虑了方差，相较于标准的霍夫丁型边界，可获得更紧致的边界。
• 基于这些考虑方差的置信区间，它在包含真实MDP的高概率的可能MDP集合上执行乐观值迭代过程。
• 采用倍增技巧来调度训练阶段，确保每个状态-动作对都得到充分访问，以维持置信区间的准确性。
• 该算法在每次训练阶段后动态更新奖励和转移概率的估计值，并重新计算乐观策略。
• 理论分析依赖于次模函数的性质和集中不等式，以限制估计误差和策略遗憾。
• 遗憾分析利用经验伯恩斯坦不等式控制估计值与真实值之间的偏差，从而获得更紧致的高概率边界。

实验结果

研究问题

• RQ1 能否通过经验伯恩斯坦不等式导出的考虑方差的置信区间，在基于模型的强化学习中实现更紧致的遗憾边界？
• RQ2 所提出的算法是否能在不增加对MDP的额外假设条件下，实现接近理论下界 $\Omega(\sqrt{DSAT})$ 的遗憾度？
• RQ3 与UCRL2和UCBVI等最先进算法相比，该算法在遗憾度和样本效率方面的表现如何？
• RQ4 基于方差的置信区间是否能提升有限连通MDP中探索的效率？

主要发现

• UCRL-V 实现了 $\tilde{\mathcal{O}}(\sqrt{DSAT})$ 的遗憾边界，与已知下界仅在对数因子范围内存在差异。
• 该算法填补了先前乐观强化学习算法中长期存在的遗憾差距，这些算法要么遗憾边界次优，要么需要对MDP施加额外假设。
• 实证评估表明，UCRL-V 在多个环境中的遗憾度和样本效率方面均优于当前最先进算法，如UCRL2和UCBVI。
• 使用经验伯恩斯坦不等式可获得更紧致的置信区间，从而实现更高效的探索和更快的收敛速度。
• 理论分析证实，在考虑方差的置信区间下，基于可能MDP集合计算出的乐观策略的遗憾是被限制的。