[论文解读] Online Learning for Stochastic Shortest Path Model via Posterior Sampling

Mehdi Jafarnia-Jahromi, Liyu Chen+2 more|arXiv (Cornell University)|Jun 9, 2021

Advanced Bandit Algorithms Research参考文献 39被引用 6

一句话总结

本文提出 PSRL-SSP，一种基于后验采样的强化学习算法，用于解决具有未知转移动态的随机最短路径（SSP）问题。该算法采用基于周期的探索策略，在每个周期开始时从后验分布中采样一个模型，并遵循该采样的最优策略，实现了 $\tilde{\mathcal{O}}(B_{\star}S\sqrt{AK})$ 的贝叶斯遗憾界，该界近似最优，且在数值上优于基于乐观主义的方法。

ABSTRACT

We consider the problem of online reinforcement learning for the Stochastic Shortest Path (SSP) problem modeled as an unknown MDP with an absorbing state. We propose PSRL-SSP, a simple posterior sampling-based reinforcement learning algorithm for the SSP problem. The algorithm operates in epochs. At the beginning of each epoch, a sample is drawn from the posterior distribution on the unknown model dynamics, and the optimal policy with respect to the drawn sample is followed during that epoch. An epoch completes if either the number of visits to the goal state in the current epoch exceeds that of the previous epoch, or the number of visits to any of the state-action pairs is doubled. We establish a Bayesian regret bound of $O(B_\star S\sqrt{AK})$, where $B_\star$ is an upper bound on the expected cost of the optimal policy, $S$ is the size of the state space, $A$ is the size of the action space, and $K$ is the number of episodes. The algorithm only requires the knowledge of the prior distribution, and has no hyper-parameters to tune. It is the first such posterior sampling algorithm and outperforms numerically previously proposed optimism-based algorithms.

研究动机与目标

• 开发一种基于后验采样的强化学习算法，用于解决具有未知转移核的随机最短路径（SSP）问题。
• 解决在 SSP 中设计有效探索周期的挑战，其中 episode 长度无界且不固定。
• 在保持优于基于乐观主义算法的数值性能的同时，实现近似最优的贝叶斯遗憾界。
• 提供一种方法，通过先验分布利用先验知识，且无需超参数调优。

提出的方法

• 该算法在周期内运行，当当前周期的 episode 数量超过前一周期的数量，或任意状态-动作对的访问次数翻倍时，即启动新周期。
• 在每个周期开始时，从未知模型动态的后验分布中采样一个转移核。
• 在整个月内，智能体遵循所采样模型的最优策略。
• 该算法使用扰动成本函数 $c_{\epsilon}(s,a) = \max\{c(s,a), \epsilon\}$，其中 $\epsilon = (S^2A/K)^{2/3}$，以确保期望 episode 长度有限，并支持遗憾分析。
• 遗憾分析依赖于对最优策略累积成本偏差的期望进行有界处理，利用集中不等式和后验采样特性。
• 通过结合模型采样误差、 episode 长度以及扰动成本影响的界，最终推导出 $\tilde{\mathcal{O}}(B_{\star}S\sqrt{AK})$ 的遗憾界。

实验结果

研究问题

• RQ1 后验采样能否有效适配于具有无界 episode 长度的随机最短路径（SSP）设置？
• RQ2 何种周期终止条件可在无固定 episode 时域的情况下，实现 SSP 中的有效探索与策略切换？
• RQ3 SSP 的后验采样算法是否能在实践中实现近似最优的遗憾，同时优于基于乐观主义的方法？
• RQ4 如何在 SSP 学习算法中融入先验知识，而无需进行超参数调优？

主要发现

• PSRL-SSP 算法实现了 $\tilde{\mathcal{O}}(B_{\star}S\sqrt{AK})$ 的贝叶斯遗憾界，其中 $B_{\star}$ 是最优策略期望成本的上界，$S$ 为状态空间大小，$A$ 为动作空间大小，$K$ 为 episode 数量。
• 该算法无需超参数调优，仅需了解转移核的先验分布。
• 数值实验表明，PSRL-SSP 在累积成本和学习效率方面优于先前提出的基于乐观主义的算法。
• 遗憾界与最小最大下界相差一个 $\sqrt{S}$ 因子，这与后验采样文献中已知的 SSP 问题中的差距一致。
• 通过引入 $\epsilon = (S^2A/K)^{2/3}$ 的扰动成本函数，该算法确保了有限的期望 episode 长度，并支持更精细的遗憾分析，其中包含涉及 $T_{\star}$（在最优策略下到达目标的期望时间）的附加项。
• 分析表明，episode 的期望数量是有限的，从而确保 $K$ 个 episode 最终会终止，这验证了遗憾界适用性的合理性。