[论文解读] Reinforcement Learning algorithms for regret minimization in structured Markov Decision Processes

K. J. Prabuchandran, Tejas Bodas+1 more|arXiv (Cornell University)|Aug 17, 2016

Advanced Bandit Algorithms Research参考文献 19被引用 3

一句话总结

本文提出了一种结构化强化学习算法——pUCB、pThompson 和 warmPSRL，通过利用已知的策略结构（例如阈值或多阈值策略）来最小化有限horizon马尔可夫决策过程中的遗憾。通过将结构化策略视为多臂老虎机框架中的“臂”，并利用基于递推的回合来确保平均奖励估计的无偏性，这些算法在遗憾、收敛速度和计算成本方面显著优于当前最先进的方法（如PSRL和UCRL）。

ABSTRACT

A recent goal in the Reinforcement Learning (RL) framework is to choose a sequence of actions or a policy to maximize the reward collected or minimize the regret incurred in a finite time horizon. For several RL problems in operation research and optimal control, the optimal policy of the underlying Markov Decision Process (MDP) is characterized by a known structure. The current state of the art algorithms do not utilize this known structure of the optimal policy while minimizing regret. In this work, we develop new RL algorithms that exploit the structure of the optimal policy to minimize regret. Numerical experiments on MDPs with structured optimal policies show that our algorithms have better performance, are easy to implement, have a smaller run-time and require less number of random number generations.

研究动机与目标

• 在最优策略具有已知结构（如阈值或多阈值策略）的有限horizon强化学习MDP中，最小化累积遗憾。
• 开发利用最优策略结构知识的无模型RL算法，以提升遗憾最小化性能。
• 解决现有算法（如UCRL和PSRL）在遗憾最小化过程中未利用已知策略结构的局限性。
• 通过使用基于递推的回合时长，确保长期平均奖励估计的无偏性，避免因采用任意回合长度而损害估计精度。
• 在保持或提升遗憾性能的同时，降低计算和采样成本，相较当前最先进的算法。

提出的方法

• 将结构化策略视为多臂老虎机（MAB）框架中的“臂”，从而在RL中应用UCB和Thompson采样原理。
• 使用递推时间定义回合长度，确保每个策略均从某状态出发并返回该状态，从而实现平均奖励估计的无偏性。
• 在pUCB中，对每种策略的平均奖励维护置信上界，并采用针对策略级估计量的UCB式探索策略。
• 在pThompson中，对策略的平均奖励维护后验信念，并从该信念中采样以选择策略，灵感源自MAB中的Thompson采样。
• 通过首先使用pThompson进行初始阶段以估计MDP参数，然后将PSRL切换至使用这些估计值作为先验，实现warmPSRL。
• 通过避免直接估计转移和奖励矩阵，确保无模型运行；相反，专注于直接估计策略的平均奖励。

实验结果

研究问题

• RQ1 MDP中最优策略的已知结构特性是否可被利用以改善强化学习中的遗憾最小化？
• RQ2 将结构化策略视为老虎机框架中的“臂”对遗憾表现和计算效率有何影响？
• RQ3 使用基于递推的回合长度对平均奖励估计精度和遗憾最小化有何影响？
• RQ4 pUCB和pThompson在遗憾、收敛速度和采样效率方面与PSRL和UCRL相比如何？
• RQ5 使用pThompson进行预热的策略是否能改善PSRL在早期学习阶段的性能？

主要发现

• 由于更有效地利用了策略结构，pUCB和pThompson在学习初期（特别是在慢速服务器问题中）显著优于PSRL和UCRL。
• 在机器更换问题中，pThompson在前100,000轮内表现出低于PSRL的遗憾，证明其在早期学习阶段的优越性能。
• warmPSRL整体遗憾表现非常接近PSRL，且初始遗憾更优，表明pThompson在参数估计中被有效利用。
• 所提出的算法生成的随机数更少，运行时间更短，表明计算成本更低。
• 数值实验确认，即使在样本数据有限的情况下，利用策略结构也能实现更快收敛和更优的遗憾最小化。
• 基于递推的回合设计确保了平均奖励估计的无偏性，这是相对于假设任意回合长度的算法的一项关键技术优势。