[论文解读] Zooming for Efficient Model-Free Reinforcement Learning in Metric Spaces

Abdelaziz Touati, Adrien Ali Taïga+1 more|arXiv (Cornell University)|Mar 9, 2020

Advanced Bandit Algorithms Research参考文献 25被引用 11

一句话总结

该论文提出 ZoomRL，一种适用于连续状态-动作空间的在线无模型强化学习算法，该空间配备有度量结构。通过基于度量的划分策略自适应地聚焦于高奖励、高频访问区域，ZoomRL 实现了最坏情况下的遗憾为 $\widetilde{O}(H^{5/2}K^{(d+1)/(d+2)})$，其中 $H$ 为规划时域，$K$ 为训练轮数，$d$ 为覆盖维数。该算法在度量相关遗憾界方面表现更优，并对模型的小幅误设具有鲁棒性。

ABSTRACT

Despite the wealth of research into provably efficient reinforcement learning algorithms, most works focus on tabular representation and thus struggle to handle exponentially or infinitely large state-action spaces. In this paper, we consider episodic reinforcement learning with a continuous state-action space which is assumed to be equipped with a natural metric that characterizes the proximity between different states and actions. We propose ZoomRL, an online algorithm that leverages ideas from continuous bandits to learn an adaptive discretization of the joint space by zooming in more promising and frequently visited regions while carefully balancing the exploitation-exploration trade-off. We show that ZoomRL achieves a worst-case regret $ ilde{O}(H^{\frac{5}{2}} K^{\frac{d+1}{d+2}})$ where $H$ is the planning horizon, $K$ is the number of episodes and $d$ is the covering dimension of the space with respect to the metric. Moreover, our algorithm enjoys improved metric-dependent guarantees that reflect the geometry of the underlying space. Finally, we show that our algorithm is robust to small misspecification errors.

研究动机与目标

• 解决在状态-动作空间呈指数级或无限大的连续状态-动作空间中高效探索的挑战。
• 开发一种利用度量结构来自适应地在高奖励区域细化离散化的无模型强化学习算法。
• 建立能够反映底层空间几何结构（通过覆盖维数）的可证明高效的遗憾界。
• 确保对最优动作价值函数的利普希茨连续性假设存在小幅偏差时仍保持鲁棒性。

提出的方法

• 该算法基于给定度量对联合状态-动作空间进行分层划分，动态细化高价值且高频访问的区域。
• 采用面向不确定性的乐观（OFU）原则，并结合度量相关的置信区间，以平衡探索与利用。
• 维护价值函数的估计值，其误差界与划分球的半径及访问次数成比例。
• 采用受利普希茨多臂老虎机启发的聚焦机制，根据累积奖励和访问次数在有前景的区域创建更细的划分。
• 遗憾分析通过在时间步与划分之间递归分解价值函数误差，利用 Azuma-Hoeffding 不等式及其他集中不等式。
• 关键组件是自适应置信区间，其随访问次数减少，并依赖于划分的局部度量半径。

实验结果

研究问题

• RQ1 我们能否设计一种无模型强化学习算法，通过利用度量结构来高效探索连续状态-动作空间？
• RQ2 在回合式马尔可夫决策过程（episodic MDPs）中，自适应的、度量感知的离散化策略可实现怎样的遗憾界？
• RQ3 该算法的性能如何随度量空间的覆盖维数而变化？
• RQ4 当最优 Q 函数的假设利普希茨连续性存在小幅偏差时，算法能否维持遗憾保证？

主要发现

• ZoomRL 实现了最坏情况下的遗憾为 $\widetilde{O}(H^{5/2}K^{(d+1)/(d+2)})$，其中 $H$ 为规划时域，$K$ 为训练轮数，$d$ 为该空间的覆盖维数。
• 遗憾界反映了底层度量空间的几何结构，相较于均匀离散化方法具有更优的缩放性能。
• 当 $H=1$ 时，关于 $K$ 的遗憾缩放与连续上下文多臂老虎机的已知下界一致，表明在此情形下具有最优性。
• 该算法对小幅度模型误设具有鲁棒性：若真实最优 Q 函数的利普希茨常数存在最多 $\epsilon$ 的加法误差，则遗憾仅增加 $O(HK\epsilon)$。
• 该算法的自适应划分机制减少了在低奖励或低频访问区域的无效探索，提升了样本效率。
• 理论分析表明，价值函数估计的累积误差通过递归误差传播和度量相关的置信区间得到控制。