[论文解读] Tightening Exploration in Upper Confidence Reinforcement Learning

Hippolyte Bourel, Odalric-Ambrym Maillard+1 more|arXiv (Cornell University)|Apr 20, 2020

Advanced Bandit Algorithms Research参考文献 33被引用 8

一句话总结

该论文提出了UCRL3，一种改进的上置信度强化学习算法，通过使用方差感知的集中不等式和转换分布的自适应支持估计来收紧探索。通过优化置信集并减少不必要的探索，UCRL3显著加快了学习收敛速度，并得出了结合局部直径和有效支持的更紧致的遗憾边界，在数值实验中优于UCRL2，同时保持理论最优性。

ABSTRACT

The upper confidence reinforcement learning (UCRL2) algorithm introduced in (Jaksch et al., 2010) is a popular method to perform regret minimization in unknown discrete Markov Decision Processes under the average-reward criterion. Despite its nice and generic theoretical regret guarantees, this algorithm and its variants have remained until now mostly theoretical as numerical experiments in simple environments exhibit long burn-in phases before the learning takes place. In pursuit of practical efficiency, we present UCRL3, following the lines of UCRL2, but with two key modifications: First, it uses state-of-the-art time-uniform concentration inequalities to compute confidence sets on the reward and (component-wise) transition distributions for each state-action pair. Furthermore, to tighten exploration, it uses an adaptive computation of the support of each transition distribution, which in turn enables us to revisit the extended value iteration procedure of UCRL2 to optimize over distributions with reduced support by disregarding low probability transitions, while still ensuring near-optimism. We demonstrate, through numerical experiments in standard environments, that reducing exploration this way yields a substantial numerical improvement compared to UCRL2 and its variants. On the theoretical side, these key modifications enable us to derive a regret bound for UCRL3 improving on UCRL2, that for the first time makes appear notions of local diameter and local effective support, thanks to variance-aware concentration bounds.

研究动机与目标

• 解决尽管UCRL2在中等规模MDP中具有强大的理论遗憾保证，但在实际应用中仍存在长预热阶段和性能不佳的问题。
• 通过更优的置信集构建方式，收紧探索过程，提升上置信度强化学习的实际效率。
• 推导出反映局部MDP结构（如局部直径和有效支持）而非全局参数的遗憾边界。
• 证明通过自适应支持估计减少探索可提升学习速度，同时不牺牲理论性能。
• 通过与UCRL2和PSRL的实证比较，展示UCRL3在稀疏奖励和大规模状态环境中的优势。

提出的方法

• 使用时间一致的、方差感知的不等式替代标准集中不等式，以计算奖励和转移概率的更紧致置信集。
• 引入自适应支持估计方法，基于观测数据剔除低概率转移，从而减少转移分布的有效支持。
• 修改扩展值迭代（EVI）过程，使其在缩减的支持集上进行优化，在保持乐观性的同时提升计算效率。
• 采用惰性更新策略维护支持集，仅每L步更新一次（实验中L=5），以降低计算开销。
• 在贝叶斯变体中使用狄利克雷和贝塔先验来建模转移和奖励分布，以便与PSRL进行比较。
• 实现了一个实用的、开源的Python代码库，兼容OpenAI Gym环境，以确保可复现性和基准测试。

实验结果

研究问题

• RQ1 基于方差感知集中不等式的更紧致置信区间是否能减少UCRL2类算法中的探索并提升学习速度？
• RQ2 对转移分布进行自适应支持估计是否能带来MDP中更快的收敛速度和更好的实际性能？
• RQ3 能否通过引入局部结构属性（如局部直径和有效支持）来改进UCRL3的遗憾边界？
• RQ4 在不同MDP结构（包括稀疏奖励和密集奖励环境）下，UCRL3与PSRL在遗憾和学习速度方面的表现如何？
• RQ5 PSRL在某些MDP中（如奖励丰富的环境）的实证失败，是否可归因于缺乏频率学遗憾保证和置信集构建不佳？

主要发现

• UCRL3实现了显式依赖于局部直径和局部有效支持的遗憾边界，优于UCRL2的全局D依赖边界。
• 数值实验表明，UCRL3显著缩短了预热阶段，并在6状态RiverSwim、2房间、4房间和100状态MDP中优于UCRL2。
• 在100状态的稀疏奖励MDP中，UCRL3在初始阶段后超越PSRL，表明其具有更好的长期学习稳定性。
• 在10状态奖励丰富的MDP中，PSRL表现欠佳，表明其在密集奖励结构下的探索策略存在局限性。
• UCRL3中的自适应支持估计减少了不必要的探索，从而在不牺牲理论保证的前提下实现了更快的收敛。
• 使用方差感知集中不等式可获得更紧致的置信集，尤其在重复观测单一状态等边缘情况下表现更优。