[论文解读] Online Regret Bounds for Undiscounted Continuous Reinforcement Learning

Ronald Ortner, Daniil Ryabko|arXiv (Cornell University)|Feb 11, 2013

Advanced Bandit Algorithms Research参考文献 22被引用 44

一句话总结

本文提出了一种适用于无折扣连续MDP的强化学习算法，结合状态聚合与置信上界（UCB），在不确定性面前实现乐观性。在奖励与转移概率满足Hölder连续性假设下，首次建立了$\tilde{O}(T^{(2+\alpha)/(2+2\alpha)})$的次线性后悔边界，当$\alpha=1$时在一维情形下为$\tilde{O}(T^{3/4})$，并提供了匹配的$\Omega(\sqrt{T})$下界。

ABSTRACT

We derive sublinear regret bounds for undiscounted reinforcement learning in continuous state space. The proposed algorithm combines state aggregation with the use of upper confidence bounds for implementing optimism in the face of uncertainty. Beside the existence of an optimal policy which satisfies the Poisson equation, the only assumptions made are Holder continuity of rewards and transition probabilities.

研究动机与目标

• 开发一种适用于连续状态空间中无折扣强化学习的可证明高效的在线学习算法。
• 在最小假设下，不依赖生成模型或重置机制，推导连续MDP的后悔边界。
• 为奖励与转移概率具有Hölder连续性的连续领域学习提供理论保证。
• 将现有bandit后悔边界推广至具有连续状态的完整MDP设置。
• 为一般无折扣连续强化学习提供首个后悔边界，包括匹配的下界。

提出的方法

• 该算法使用状态聚合将连续状态空间离散化为区间，实现有限状态近似。
• 应用置信上界（UCB）以实现面对不确定性的乐观性，偏好探索访问较少的状态-动作对。
• 该方法结合在线学习与基于回合的更新，维护价值估计的置信区间。
• 将后悔分解为估计误差、聚合误差和模型不确定性，分别利用Hölder连续性和集中不等式进行有界。
• 在Poisson方程框架下，对偏差函数估计产生的鞅差分应用Azuma-Hoeffding不等式。
• 通过对时间步与回合数的联合界确保高概率后悔边界，仔细处理对数与多项式项。

实验结果

研究问题

• RQ1 在无重置或生成模型访问的情况下，能否在无折扣连续强化学习中实现次线性后悔？
• RQ2 在具有Hölder连续奖励与转移的连续MDP中，探索与利用之间的最优权衡是什么？
• RQ3 在连续状态空间中，后悔边界如何随维度与平滑度（Hölder参数$\alpha$）变化？
• RQ4 能否为此设置中的后悔推导出匹配的下界？
• RQ5 该理论框架能否扩展至连续动作空间或更一般的函数类？

主要发现

• 所提出的算法在具有Hölder连续奖励与转移的一维连续MDP中实现了$\tilde{O}(T^{(2+\alpha)/(2+2\alpha)})$的后悔边界。
• 在Lipschitz情形（$\alpha=1$）下，一维情形的后悔边界简化为$\tilde{O}(T^{3/4})$。
• 对于$d$维状态空间，后悔边界推广为$\tilde{O}(T^{(2d+\alpha)/(2d+2\alpha)})$。
• 建立了匹配的下界$\Omega(\sqrt{T})$，表明上界几乎紧致。
• 分析依赖于Poisson方程与偏差函数分解，通过Azuma-Hoeffding不等式实现高概率集中。
• 这些结果是基于最小平滑度假设下，一般无折扣连续强化学习的首个后悔边界。