[论文解读] Online Convex Optimization in Adversarial Markov Decision Processes

Aviv Rosenberg, Yishay Mansour|arXiv (Cornell University)|May 19, 2019

Reinforcement Learning in Robotics被引用 45

一句话总结

论文提出 UC-O-REPS，一种用于在带未知转移的情节性无回路对抗性 MDPs 中的在线学习算法，达到近似最优的后悔界并扩展到凸性能准则。

ABSTRACT

We consider online learning in episodic loop-free Markov decision processes (MDPs), where the loss function can change arbitrarily between episodes, and the transition function is not known to the learner. We show $ ilde{O}(L|X|\sqrt{|A|T})$ regret bound, where $T$ is the number of episodes, $X$ is the state space, $A$ is the action space, and $L$ is the length of each episode. Our online algorithm is implemented using entropic regularization methodology, which allows to extend the original adversarial MDP model to handle convex performance criteria (different ways to aggregate the losses of a single episode) , as well as improve previous regret bounds.

研究动机与目标

• 在未知动力学和不断变化的损失下，激励在对抗性 MDPs 中的在线学习。
• 开发一个将在线凸优化与强化学习相结合的算法，以实现低后悔。
• 将对抗性 MDP 模型扩展以支持凸性能准则。
• 在处理高概率保证的同时，改进相对于行动和状态空间大小的先前后悔界。

提出的方法

• 引入占据测度以将 MDP 学习重新表述为在线凸优化。
• 使用带熵正则化的在线镜像下降（OMD）来更新占据测度。
• 结合置信集（以 UCRL-2 的风格）来处理未知的转移动力学。
• 开发 UC-O-REPS，在置信集中和不确定性下的乐观性框架内优化。
• 提供一个可行的优化步骤，简化为对占据测度的凸规划。
• 证明后悔界分解为近似误差和在线优化误差两部分。

实验结果

研究问题

• RQ1 在对抗性 MDPs 中，未知转移下的在线学习是否能实现子线性后悔？
• RQ2 如何利用占据测度将对抗性 MDP 学习转化为在线凸优化问题？
• RQ3 将 OMD 与置信集规划结合是否能在凸性能准则下实现近似最优的后悔？
• RQ4 框架如何容纳超越总期望损失的凸、多维损失聚合？
• RQ5 未知转移对抗性 MDP 的高概率后悔保证是什么？

主要发现

• 在未知动力学的对抗性损失下实现了 tilde{O}(L|X|\\,sqrt{|A|T}) 的后悔界。
• 通过熵正则化和在线镜像下降将对抗性 MDP 扩展到凸性能准则。
• 表明该界限在高概率下成立，改善了大行动空间中的先前界限。
• 给出一个与高概率相关的后悔界限，随 L、|X|、sqrt(T) 和 sqrt(|A|) 的变化而变化。
• 提供了一个可行算法（UC-O-REPS），利用置信集和乐观规划来应对未知转移。