[论文解读] No-regret Exploration in Contextual Reinforcement Learning

Aditya Modi, Ambuj Tewari|arXiv (Cornell University)|Mar 14, 2019

Advanced Bandit Algorithms Research参考文献 26被引用 8

一句话总结

该论文提出了一类用于上下文马尔可夫决策过程（CMDPs）的无遗憾强化学习算法，采用广义线性模型（GLMs）将上下文向量映射到MDP参数。通过在线牛顿步法实现高效的在线更新以构建置信集，实现了改进的遗憾界——具体而言，在先前线性MDP结果的基础上将遗憾界提升了O(√S)——并提供了一个通用框架，以利用结构化的GLM参数（如稀疏性）。

ABSTRACT

We consider the recently proposed reinforcement learning (RL) framework of Contextual Markov Decision Processes (CMDP), where the agent interacts with a (potentially adversarial) sequence of episodic tabular MDPs. In addition, a context vector determining the MDP parameters is available to the agent at the start of each episode, thereby allowing it to learn a context-dependent near-optimal policy. In this paper, we propose a no-regret online RL algorithm in the setting where the MDP parameters are obtained from the context using generalized linear mappings (GLMs). We propose and analyze optimistic and randomized exploration methods which make (time and space) efficient online updates. The GLM based model subsumes previous work in this area and also improves previous known bounds in the special case where the contextual mapping is linear. In addition, we demonstrate a generic template to derive confidence sets using an online learning oracle and give a lower bound for the setting.

研究动机与目标

• 解决现有CMDP框架中依赖于严格线性假设或未归一化动态模型的局限性。
• 为基于GLM的CMDP设计高效的在线学习算法，并提供可证明的遗憾保证。
• 在线性映射情况下，将先前的遗憾界改进O(√S)的因子。
• 提供一种通用方法，利用在线学习预言机构造置信集，从而适应结构化的GLM参数（如稀疏性）。
• 为采用逻辑斯蒂或二次链接函数的GLM-CMDP建立遗憾下界。

提出的方法

• 提出GLM-CMDP框架，其中MDP参数通过从上下文向量到参数的广义线性映射进行建模。
• 设计一种乐观探索算法（GLM-ORL），利用在线牛顿步（ONS）实现高效的置信集构建。
• 开发一种随机化探索算法（GLM-RLSVI），受RLSVI启发，其遗憾分析基于经验伯恩斯坦风格的奖励增益。
• 利用在线学习预言机，将任意用于GLM参数估计的无遗憾算法转换为置信集构建方法。
• 通过在下一状态转移模型上使用霍夫丁风格的奖励增益，推导出价值函数的置信集。
• 利用GLM链接函数的强凸性来界定估计误差，并推导出依赖于1/α的遗憾界。

实验结果

研究问题

• RQ1 我们能否设计出在计算效率和统计稳健性方面均表现良好的CMDP无遗憾在线RL算法，其MDP参数采用广义线性参数化？
• RQ2 与先前工作相比，GLM-CMDP算法的遗憾界在上下文维度d、状态空间大小S和时域H上的缩放关系如何？
• RQ3 我们能否在现有基于OFU的方法基础上，将线性情况下的遗憾界再改进O(√S)的因子？
• RQ4 是否存在一种通用方法，利用在线学习预言机为基于GLM的MDP构造置信集，特别是在参数具有稀疏性等结构时？
• RQ5 对于采用逻辑斯蒂或二次链接函数的GLM-CMDP，其遗憾的理论极限（下界）是什么？

主要发现

• 所提出的GLM-ORL算法在GLM-CMDPs上实现了Õ(H√(dS K))的遗憾界，在线性情况下相比先前基于OFU的方法提升了O(√S)的因子。
• GLM-RLSVI算法提供了与GLM-ORL的频率学遗憾界相当的贝叶斯遗憾界，且在H、d、S和K上的依赖关系相似。
• 通过在线牛顿步法构建置信集，实现了高效的时空复杂度，避免了标准OFU方法中随轮次线性增长的开销。
• 提供了一种通用转换方法，可将任意用于GLM参数估计的在线无遗憾算法转化为置信集构造方法，当参数稀疏时可获得更紧的界。
• 为采用逻辑斯蒂或二次链接函数的GLM-CMDP建立了Ω(H√(dK))的遗憾下界，表明当前的上界已接近最优。
• 论文指出，由于价值函数在上下文变量上缺乏结构，且在各阶段独立采样存在困难，因此消除剩余的遗憾差距（O(H√(dS)））具有非平凡性。