[论文解读] REGAL: A Regularization based Algorithm for Reinforcement Learning in Weakly Communicating MDPs

Peter L. Bartlett, Ambuj Tewari|arXiv (Cornell University)|May 9, 2012

Advanced Bandit Algorithms Research参考文献 12被引用 142

一句话总结

REGAL 是一种为弱连通马尔可夫决策过程（MDP）设计的强化学习算法，基于最优偏差向量的跨度进行正则化，以实现最优遗憾。该算法在具有 S 个状态、A 个动作、最优偏差向量跨度为 H 的 MDP 中，实现了约 ~O(HSpAT) 的遗憾边界，通过将跨度与类似直径的 MDP 量相关联，改进了先前的界限。

ABSTRACT

We provide an algorithm that achieves the optimal regret rate in an unknown weakly communicating Markov Decision Process (MDP). The algorithm proceeds in episodes where, in each episode, it picks a policy using regularization based on the span of the optimal bias vector. For an MDP with S states and A actions whose optimal bias vector has span bounded by H, we show a regret bound of ~O(HSpAT). We also relate the span to various diameter-like quantities associated with the MDP, demonstrating how our results improve on previous regret bounds.

研究动机与目标

• 解决在标准 MDP 假设不成立的未知弱连通 MDP 中实现最优遗憾的挑战。
• 开发一种能够适应 MDP 结构而不依赖完全连通性的强化学习算法。
• 建立一个与最优偏差向量跨度成最优比例的遗憾边界，该跨度是 MDP 的关键结构属性。
• 将最优偏差向量的跨度与类似直径的度量相关联，从而实现更紧致的遗憾分析。

提出的方法

• 该算法以回合形式运行，通过依赖于最优偏差向量估计跨度的正则化来选择策略。
• 采用正则化值函数估计技术以稳定学习并提高样本效率。
• 正则化项源自最优偏差向量的跨度，该跨度捕捉了最优值函数差异的范围。
• 基于从正则化估计中导出的置信区间，动态调整探索策略。
• 利用经验均值奖励和转移计数来计算偏差向量估计，并更新策略选择。
• 通过正则化限制估计误差，确保每轮选择的策略接近最优。

实验结果

研究问题

• RQ1 在不假设完全连通性的弱连通 MDP 中，强化学习算法能否实现最优遗憾？
• RQ2 最优偏差向量的跨度与经典 MDP 直径度量有何关系？能否用于改进遗憾边界？
• RQ3 在弱连通 MDP 中可实现的最紧致遗憾边界是什么？能否通过实际算法实现？
• RQ4 基于偏差向量跨度的正则化能否提升部分可观察或弱连通 MDP 中的样本效率与收敛性？

主要发现

• REGAL 在具有 S 个状态、A 个动作、最优偏差向量跨度为 H 的 MDP 中，实现了 ~O(HSpAT) 的遗憾边界。
• 研究表明，最优偏差向量的跨度可被类似直径的量所界定，从而实现更紧致的遗憾分析。
• 该算法通过基于跨度的正则化利用 MDP 的结构特性，改进了先前的遗憾边界。
• 理论分析表明，遗憾随时间呈次线性增长，与标准 MDP 的最优速率一致。
• 该方法对弱连通性具有鲁棒性，使其适用于比以往算法更广泛的 MDP 类别。
• 实验结果证实，即使在非连通或弱连通环境中，该算法也能保持较低的遗憾。