[论文解读] Stochastic Shortest Path: Minimax, Parameter-Free and Towards Horizon-Free Regret

Jean Tarbouriech, Runlong Zhou+4 more|arXiv (Cornell University)|Apr 22, 2021

Advanced Bandit Algorithms Research参考文献 44被引用 5

一句话总结

该论文提出EB-SSP，一种新型基于模型的强化学习算法，用于随机最短路径问题，其最小最大 regret 为 $×plantilde{O}(B_{\star}\sqrt{SAK})$，且无需事先知晓 $B_{\star}$ 或 $T_{\star}$，使其成为该设置下首个无参数且近乎时域无关的算法。该方法采用带偏差校正的经验转移和探索奖励的乐观值迭代，以确保收敛性和 regret 边界。

ABSTRACT

We study the problem of learning in the stochastic shortest path (SSP) setting, where an agent seeks to minimize the expected cost accumulated before reaching a goal state. We design a novel model-based algorithm EB-SSP that carefully skews the empirical transitions and perturbs the empirical costs with an exploration bonus to induce an optimistic SSP problem whose associated value iteration scheme is guaranteed to converge. We prove that EB-SSP achieves the minimax regret rate $ ilde{O}(B_{\star} \sqrt{S A K})$, where $K$ is the number of episodes, $S$ is the number of states, $A$ is the number of actions, and $B_{\star}$ bounds the expected cumulative cost of the optimal policy from any state, thus closing the gap with the lower bound. Interestingly, EB-SSP obtains this result while being parameter-free, i.e., it does not require any prior knowledge of $B_{\star}$, nor of $T_{\star}$, which bounds the expected time-to-goal of the optimal policy from any state. Furthermore, we illustrate various cases (e.g., positive costs, or general costs when an order-accurate estimate of $T_{\star}$ is available) where the regret only contains a logarithmic dependence on $T_{\star}$, thus yielding the first (nearly) horizon-free regret bound beyond the finite-horizon MDP setting.

研究动机与目标

• 解决在随机最短路径（SSP）设置下，由于智能体行为导致的轨迹长度无界的问题。
• 设计一种算法，实现最小最大最优 regret，且无需事先知晓关键问题特定参数 $B_{\\textbackslash{}star}$（最优成本界）或 $T_{\\textbackslash{}star}$（期望到达目标时间）。
• 实现仅对 $T_{\\textbackslash{}star}$ 呈对数依赖的 regret 边界，从而在有限时域 MDP 之外实现近乎时域无关的性能。
• 在 $K, S, A, B_{\\textbackslash{}star}, T_{\\textbackslash{}star}$ 的多项式时间内实现计算高效，同时保持理论保证。

提出的方法

• 提出一种基于模型的算法 EB-SSP，通过扭曲经验转移并为成本添加探索奖励，构建一个乐观的 SSP 问题。
• 在乐观模型上使用值迭代方案（VISGO），采用随回合递减的自适应精度 $\\epsilon_{\\text{VI}}$，以确保收敛。
• 引入双重终止条件：若累计成本超过高概率阈值，或值函数幅值超过 $\\widetilde{B}$，则终止。
• 维护经验估计 $\\widehat{P}, \\widehat{c}$，其中包含 $N(s,a)$ 和 $\\theta(s,a)$，并在访问次数达到几何触发集 $\\mathcal{N} = \\{2^{j-1}\\}$ 时触发重新优化。
• 应用偏差校正的转移模型 $\\widetilde{P}_{s,a,s'}$，通过引入目标状态的伪到达来稳定学习。
• 在值迭代中使用基于置信区间奖励 $b^{(i+1)}(s,a)$，结合方差、成本和状态动作访问项，以促进探索。

实验结果

研究问题

• RQ1 能否设计一种无参数算法，在无需事先知晓 $B_{\\textbackslash{}star}$ 或 $T_{\\textbackslash{}star}$ 的情况下，实现随机最短路径中的最小最大最优 regret？
• RQ2 是否可能设计一种学习算法，其 regret 仅对 $T_{\\textbackslash{}star}$ 呈对数依赖，从而实现近乎时域无关的性能？
• RQ3 在无界时域 SSP 设置下，基于模型的方法结合乐观值迭代能否确保收敛性和 regret 保证？
• RQ4 如何设计探索奖励，以在经验转移和成本估计中平衡乐观性与稳定性？
• RQ5 在无任何参数调优的在线 SSP 中，实现近乎最小最大最优 regret 所需的最小假设集是什么？

主要发现

• EB-SSP 实现了最小最大 regret 边界 $\\widetilde{O}(B_{\\textbackslash{}star}\sqrt{SAK})$，在对数因子范围内达到信息论下界。
• 该算法为无参数算法，无需事先知晓 $B_{\\textbackslash{}star}$ 或 $T_{\\textbackslash{}star}$，相较于先前方法具有显著改进。
• 在正成本情形或当 $T_{\\textbackslash{}star}$ 准确估计时，regret 仅对 $T_{\\textbackslash{}star}$ 呈对数依赖，首次在 SSP 中实现近乎时域无关的边界。
• 通过有界值函数和自适应精度，该算法确保了乐观值迭代的收敛性，双重终止条件可防止发散。
• 通过引入目标状态的伪到达和置信区间，对经验转移和成本模型进行校正，确保了鲁棒性和乐观性。
• 运行时复杂度在 $K, S, A, B_{\\textbackslash{}star}, T_{\\textbackslash{}star}$ 上为多项式，使算法计算高效且可扩展。