[论文解读] Near-optimal Reinforcement Learning in Factored MDPs: Oracle-Efficient Algorithms for the Non-episodic Setting.

Ziping Xu, Ambuj Tewari|arXiv (Cornell University)|Feb 6, 2020

Reinforcement Learning in Robotics参考文献 6被引用 7

一句话总结

本文在非周期性设置下，针对因子化MDP提出了两种近似最优、Oracle高效的强化学习算法，实现了与标准MDP中已知近似最优界一致的遗憾界 $\widetilde{O}(DS\sqrt{AT})$。该工作提出了一种新颖的下界，其依赖于偏差向量的跨度而非直径，表明在因子化MDP中，基于直径的界限可能极度松散。

ABSTRACT

We study reinforcement learning in factored Markov decision processes (FMDPs) in the non-episodic setting. We focus on regret analyses providing both upper and lower bounds. We propose two near-optimal and oracle-efficient algorithms for FMDPs. Assuming oracle access to an FMDP planner, they enjoy a Bayesian and a frequentist regret bound respectively, both of which reduce to the near-optimal bound $\widetilde{O}(DS\sqrt{AT})$ for standard non-factored MDPs. Our lower bound depends on the span of the bias vector rather than the diameter $D$ and we show via a simple Cartesian product construction that FMDPs with a bounded span can have an arbitrarily large diameter, which suggests that bounds with a dependence on diameter can be extremely loose. We, therefore, propose another algorithm that only depends on span but relies on a computationally stronger oracle. Our algorithms outperform the previous near-optimal algorithms on computer network administrator simulations.

研究动机与目标

• 为非周期性设置下的因子化MDP设计高效强化学习算法。
• 通过以偏差向量的跨度替代直径D作为依赖项，改进因子化MDP中的遗憾界，使其在结构化环境中更紧密。
• 设计仅需访问FMDP规划器的Oracle高效算法，确保实际可行性。
• 建立一个理论下界，揭示基于直径的遗憾界在因子化MDP中的局限性。

提出的方法

• 提出两种算法：一种具有贝叶斯遗憾界，另一种具有频率学遗憾界，二者均依赖于FMDP规划器Oracle。
• 推导出一种新颖的遗憾下界，其依赖于偏差向量的跨度，而非直径D。
• 利用笛卡尔积构造方法，证明具有有界跨度的FMDP可能具有任意大的直径，从而否定基于直径的界限。
• 提出第二种算法，仅依赖于跨度，但需要更强的计算Oracle进行规划。
• 采用专为因子化结构设计的遗憾分析技术，利用MDP因子化带来的稀疏性。
• 将标准MDP的遗憾界简化为 $\widetilde{O}(DS\sqrt{AT})$，与已知的近似最优界一致。

实验结果

研究问题

• RQ1 我们能否设计出在非周期性设置下，针对因子化MDP实现近似最优遗憾界的Oracle高效强化学习算法？
• RQ2 在因子化MDP中，偏差向量的跨度与直径D相比，作为复杂度度量有何差异？
• RQ3 我们能否构造一个下界，以揭示基于直径的遗憾界在因子化MDP中的局限性？
• RQ4 在遗憾界中，计算Oracle的强度与对跨度或直径的依赖之间存在何种权衡？
• RQ5 在如网络管理等实际场景中，所提出的算法是否优于以往方法？

主要发现

• 所提算法在标准MDP中实现了 $\widetilde{O}(DS\sqrt{AT})$ 的遗憾界，与已知的近似最优界一致。
• 建立了一个新颖的下界，其依赖于偏差向量的跨度，而非直径D。
• 通过笛卡尔积构造方法，表明具有有界跨度的FMDP可能具有任意大的直径，从而导致基于直径的界限可能极度松散。
• 提出了一种替代算法，仅依赖于跨度，但需要更强的计算Oracle。
• 在计算机网络管理任务的模拟中，该算法优于以往的近似最优算法。
• 结果表明，在许多结构化环境中，跨度比直径是更合适的因子化MDP复杂度度量。