[论文解读] Regret Bounds for Stochastic Shortest Path Problems with Linear Function Approximation

Daniel Vial, Advait Parulekar+2 more|arXiv (Cornell University)|May 4, 2021

Advanced Bandit Algorithms Research参考文献 27被引用 4

一句话总结

本文提出了首个在随机最短路径问题中使用线性函数逼近（LFA）的统计与计算高效的强化学习算法，采用平稳策略实现次线性遗憾。该工作引入了乐观近似不动点（OAFPs），并在最小条件下（包括最小成本为正、存在合适策略）下，实现了$ olimits\sqrt{K}$、$K^{3/4}$或$K^{5/6}$的遗憾边界，具体取决于假设条件。

ABSTRACT

We propose an algorithm that uses linear function approximation (LFA) for stochastic shortest path (SSP). Under minimal assumptions, it obtains sublinear regret, is computationally efficient, and uses stationary policies. To our knowledge, this is the first such algorithm in the LFA literature (for SSP or other formulations). Our algorithm is a special case of a more general one, which achieves regret square root in the number of episodes given access to a certain computation oracle.

研究动机与目标

• 填补在线性函数逼近中针对随机最短路径（SSP）问题缺乏高效平稳策略算法的空白。
• 设计一种计算高效的算法，实现与状态空间和动作空间规模无关的次线性遗憾。
• 在最小假设条件下（包括最小成本为正、存在合适策略）提供遗憾缩放的理论保证。
• 通过使用平稳策略，弥合理论效率与实际部署之间的差距。
• 将先前针对有限时域LFA的工作扩展至无限时域SSP设置，且结构假设最少。

提出的方法

• 提出一种基于乐观近似不动点（OAFPs）的新框架，即d维向量，其相对于数据驱动算子$\hat{G}_t$的贝尔曼误差较小。
• 设计算法1，利用预言机计算OAFPs并更新策略，将遗憾最小化问题转化为OAFP计算问题。
• 通过次高斯集中与矩阵集中不等式构造置信集，以限制估计误差。
• 在LFA设置中，使用带正则化的最小二乘回归与自适应特征加权，以估计最优权重向量$w^\star$。
• 利用网覆盖论证与行列式界，控制特征空间上函数逼近的复杂度。
• 通过将遗憾边界归约为OAFP计算质量，建立遗憾边界，且在拥有预言机访问权限时，可在有利条件下实现$ olimits\sqrt{K}$遗憾。

实验结果

研究问题

• RQ1 能否为使用线性函数逼近的随机最短路径问题设计出兼具统计与计算效率的算法，并采用平稳策略？
• RQ2 在最小假设（如最小成本为正、存在合适策略）下，可实现何种遗憾缩放？
• RQ3 OAFP预言机的质量如何影响SSP设置下的整体遗憾边界？
• RQ4 能否在不依赖时域信息或非平稳策略的前提下实现次线性遗憾？
• RQ5 在何种特征表示条件下（如正交性）可实现$ olimits\sqrt{K}$遗憾？

主要发现

• 当特征在特定意义上正交时，所提算法在假设1–2下实现$ olimits\sqrt{K}$遗憾。
• 仅在假设1–2下，遗憾缩放为$K^{5/6}$，相比先前工作有显著改进。
• 当所有平稳策略均为合适策略时，遗憾边界改善至$K^{3/4}$，表明策略结构对性能有显著影响。
• 该算法是首个在SSP的LFA设置中实现统计与计算效率的算法，且采用平稳策略。
• 该框架将遗憾最小化简化为OAFP计算，且本文提供了实现预言机，可达到所述遗憾边界。