[论文解读] Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes

Yi Tian, Jian Qian+1 more|arXiv (Cornell University)|Jun 24, 2020

Reinforcement Learning in Robotics参考文献 38被引用 4

一句话总结

该论文提出了两种基于模型的强化学习算法——F-UCBVI 和 F-EULER，用于在时间片段化的因子化马尔可夫决策过程（FMDPs）中实现极小化最大 regret。通过引入基于逆望远镜效应的奖励项，这些算法实现了紧密的 regret 边界，使结果接近 $\tilde{\mathcal{O}}(\sqrt{HSAT})$ 的下界，其中 F-EULER 实现的问题相关 regret 与理论极限一致。

ABSTRACT

We study minimax optimal reinforcement learning in episodic factored Markov decision processes (FMDPs), which are MDPs with conditionally independent transition components. Assuming the factorization is known, we propose two model-based algorithms. The first one achieves minimax optimal regret guarantees for a rich class of factored structures, while the second one enjoys better computational complexity with a slightly worse regret. A key new ingredient of our algorithms is the design of a bonus term to guide exploration. We complement our algorithms by presenting several structure-dependent lower bounds on regret for FMDPs that reveal the difficulty hiding in the intricacy of the structures.

研究动机与目标

• 解决在状态转移呈现条件独立性的时间片段化因子化 MDP（FMDPs）中实现极小化最大 regret 的挑战。
• 克服在使用标量集中而非 $L_1$-范数集中进行逐分量转移估计时，确保探索中乐观性的困难。
• 设计利用 FMDPs 中结构稀疏性的算法，以在标准 MDP 边界之外进一步减少 regret，特别是消除次优的 $\sqrt{S_i}$ 因子。
• 建立依赖结构的 regret 下界，以刻画不同 FMDP 结构的固有难度。
• 通过提出两种具有不同权衡的算法，在 regret 最优性与计算效率之间取得平衡：一种具有更紧的 regret 和更简单的奖励项，另一种具有更好的计算复杂度。

提出的方法

• 提出 F-UCBVI，一种基于模型的算法，使用基于 Hoeffding 样式奖励项的标量集中方法，以确保探索中的乐观性。
• 引入逆望远镜技术，构造一种奖励项，使其在分量转移中保持乐观，从而实现更紧的 regret 边界。
• 设计 F-EULER，一种基于模型的算法，使用 Bernstein 样式奖励项以实现问题相关 regret，其在最坏情况下的 regret 刻画优于 F-UCBVI。
• 利用已知的 FMDP 因子化结构，对转移概率进行分量式估计，并将其与新颖的奖励结构相结合。
• 应用集中不等式（Hoeffding、Bernstein 和经验 Bernstein）来界定估计误差，并推导出高概率置信区间。
• 使用逆望远镜奖励项，确保即使在分量奖励项相加时，乐观值函数仍为真实值函数的有效上界。

实验结果

研究问题

• RQ1 我们能否通过克服朴素分量奖励项求和的局限性，在时间片段化的 FMDPs 中实现极小化最大 regret？
• RQ2 FMDPs 的哪些结构特性使得 regret 边界能够匹配非因子化 MDP 的 $\tilde{\mathcal{O}}(\sqrt{HSAT})$ 下界？
• RQ3 当使用标量集中而非 $L_1$-范数集中时，我们如何设计一种奖励项以确保 FMDPs 中的乐观性？
• RQ4 FMDPs 中 regret 的基本极限是什么？它们如何依赖于底层的因子化结构？
• RQ5 我们能否通过算法设计在 FMDP 学习中同时实现 regret 最优性和计算效率？

主要发现

• F-UCBVI 实现了 $\tilde{\mathcal{O}}\left(\sum_{i=1}^{m}\sqrt{H^2 X[I_i] T}\right)$ 的 regret 边界，其在对数因子内达到极小化最大 regret 的最优速率。
• F-EULER 实现了问题相关 regret 边界，其在最坏情况下退化为 $\tilde{\mathcal{O}}\left(\sum_{i=1}^{m}\sqrt{H X[I_i] T}\right)$，从而显著缩小与 $\Omega(\sqrt{HSAT})$ 下界之间的差距。
• 所提出的逆望远镜奖励技术能够在标量集中条件下实现乐观性，克服了先前方法中的一个关键障碍。
• 建立了依赖结构的 FMDP regret 下界，揭示了其难度取决于具体的因子化结构。
• F-EULER 算法通过消除分量 regret 中的 $\sqrt{S_i}$ 因子，实现了比先前工作更紧的 regret，优于 $\tilde{\mathcal{O}}(\sum \sqrt{D^2 S_i X[I_i] T})$ 的边界。
• 尽管存在 $\sqrt{H}$ 因子的开销，F-UCBVI 由于其更简单的奖励结构，仍显著降低了计算复杂度。