[论文解读] No-Regret Exploration in Goal-Oriented Reinforcement Learning

Jean Tarbouriech, Evrard Garcelon+3 more|arXiv (Cornell University)|Dec 7, 2019

Advanced Bandit Algorithms Research参考文献 24被引用 8

一句话总结

本文提出了UC-SSP，这是首个无需环路自由假设的通用随机最短路径（SSP）问题的无遗憾强化学习算法。通过使用一种新颖的基于枢轴时域的停止规则，该规则可中止执行过慢的策略并切换至更快速的替代策略，从而在具有无界episode长度的目标导向MDP中实现高效探索，实现了$\widetilde{\mathcal{O}}(DS\sqrt{ADK})$的遗憾界。

ABSTRACT

Many popular reinforcement learning problems (e.g., navigation in a maze, some Atari games, mountain car) are instances of the episodic setting under its stochastic shortest path (SSP) formulation, where an agent has to achieve a goal state while minimizing the cumulative cost. Despite the popularity of this setting, the exploration-exploitation dilemma has been sparsely studied in general SSP problems, with most of the theoretical literature focusing on different problems (i.e., fixed-horizon and infinite-horizon) or making the restrictive loop-free SSP assumption (i.e., no state can be visited twice during an episode). In this paper, we study the general SSP problem with no assumption on its dynamics (some policies may actually never reach the goal). We introduce UC-SSP, the first no-regret algorithm in this setting, and prove a regret bound scaling as $\displaystyle \widetilde{\mathcal{O}}( D S \sqrt{ A D K})$ after $K$ episodes for any unknown SSP with $S$ states, $A$ actions, positive costs and SSP-diameter $D$, defined as the smallest expected hitting time from any starting state to the goal. We achieve this result by crafting a novel stopping rule, such that UC-SSP may interrupt the current policy if it is taking too long to achieve the goal and switch to alternative policies that are designed to rapidly terminate the episode.

研究动机与目标

• 为解决通用随机最短路径（SSP）问题中缺乏无遗憾探索算法的问题，特别是当策略可能永远无法到达目标时。
• 克服有限时域与无限时域强化学习设置在捕捉SSP真实目标（即最小化到达目标的期望成本）方面的局限性。
• 设计一种停止规则，用于中止那些花费过长时间才到达目标的策略，从而实现快速切换至更高效的替代策略。
• 在无需环路自由或已知时域等限制性假设的前提下，证明通用SSP设置下的次线性遗憾界。
• 通过结合乐观规划与命中时间的相型分布分析，弥合SSP探索理论上的空白。

提出的方法

• 提出UC-SSP算法，该算法使用基于过渡概率上界估计的伯恩斯坦不等式所导出置信区间的乐观值迭代。
• 引入一种基于枢轴时域的新型停止规则，若当前策略超过动态调整的时间阈值，则触发episode终止。
• 采用两阶段策略：阶段①通过高不确定性的乐观策略进行探索，而阶段②则专注于使用估计命中时间较低的策略快速终止episode。
• 通过成本扰动（例如，$c(s,a) = \max\{c(s,a), \epsilon\}$）避免非正规策略，并确保命中时间的期望值有限。
• 利用离散相型分布对乐观策略的命中时间分布进行建模，从而设计出在探索与及时终止之间取得平衡的停止准则。
• 利用扩展的值迭代方法与乐观过渡模型进行规划，其中置信集通过经验过渡估计的伯恩斯坦型界来定义。

实验结果

研究问题

• RQ1 能否在不假设无环动态或已知有限时域的前提下，为通用SSP问题设计一种无遗憾探索算法？
• RQ2 在SSP设置中，智能体如何在最小化成本与最小化到达目标时间这两个目标之间取得平衡？
• RQ3 何种停止准则可实现在潜在无界episode长度与非正规策略下的SSP高效探索？
• RQ4 基于枢轴时域的episode终止规则是否能优于标准基于访问次数的规则，在SSP中实现更优的遗憾界？
• RQ5 在通用SSP中，使用乐观规划结合命中时间估计如何提升遗憾性能？

主要发现

• 对于任意未知SSP问题（含$S$个状态、$A$个动作、$D$个SSP-直径与正成本），UC-SSP在$K$个episode后实现了$\widetilde{\mathcal{O}}(DS\sqrt{ADK})$的遗憾界。
• 在实验评估中，UC-SSP优于UCRL-SSP，尤其是在$c_{\min} = 0$时，这得益于其更适应SSP结构的枢轴时域停止规则。
• UC-SSP的阶段②（专注于快速终止）主要发生在早期学习阶段，对后期阶段的遗憾贡献极小。
• 使用伯恩斯坦不等式构建置信集，可对过渡概率估计实现更紧的界，从而提高乐观规划的准确性。
• 通过$\epsilon = S^2A/K$对成本进行扰动，可在早期阶段稳定学习，并防止非正规策略主导探索过程。
• 实验结果表明，一旦不确定性与扰动降低，UC-SSP的估计命中时间迅速下降，表明其能有效收敛至最优策略。