[论文解读] Online learning in MDPs with side information

Yasin Abbasi-Yadkori, Gergely Neu|arXiv (Cornell University)|Jun 26, 2014

Advanced Bandit Algorithms Research参考文献 10被引用 8

一句话总结

该论文提出了一种计算高效的在线学习算法，用于具有附加信息的周期性马尔可夫决策过程（MDP），其中转移和奖励函数依赖于上下文向量。该方法实现了 $\widetilde{\mathcal{O}}(L|\mathcal{S}|^2|\mathcal{A}|(n+m)\sqrt{T})$ 的遗憾边界，为该设置提供了首个理论保证，并支持动态策略，使其能够根据患者特异性或用户特异性特征进行自适应调整，适用于临床试验和推荐系统等应用。

ABSTRACT

We study online learning of finite Markov decision process (MDP) problems when a side information vector is available. The problem is motivated by applications such as clinical trials, recommendation systems, etc. Such applications have an episodic structure, where each episode corresponds to a patient/customer. Our objective is to compete with the optimal dynamic policy that can take side information into account. We propose a computationally efficient algorithm and show that its regret is at most $O(\sqrt{T})$, where $T$ is the number of rounds. To best of our knowledge, this is the first regret bound for this setting.

研究动机与目标

• 解决过渡和奖励函数依赖于附加信息向量（如临床试验中的患者检测结果）的周期性MDP中的在线学习问题。
• 设计一种计算高效的算法，使其能够与针对每个附加信息向量量身定制的最优动态策略相竞争。
• 为该设置建立理论遗憾边界，该设置迄今为止缺乏此类保证。
• 通过利用上下文相关的动态特性，实现在个性化医疗和推荐系统等应用中的自适应决策。

提出的方法

• 将问题建模为无环的周期性MDP，附加信息包含在内，其中每个周期对应一个具有上下文向量 $x_t \in \mathbb{R}^d$ 的新患者或用户。
• 使用广义线性模型对转移概率 $P_x(s'|s,a) = \sigma(\varphi(x)^T \theta_*(s',s,a))$ 和奖励函数 $r_x(s,a)$ 进行参数化。
• 使用置信集 $\mathcal{P}_x(\bm{\Theta})$ 和 $\mathcal{R}_x(\bm{\Lambda})$ 表示对转移和奖励参数的不确定性。
• 采用一种高效的优化过程（算法2）求解置信集上的最大化问题，确保计算可行性，时间与空间复杂度为 $\mathcal{O}(|\mathcal{A}||\mathcal{S}|^2)$。
• 提出一种新颖的遗憾分析，通过利用附加信息，界定算法累积奖励与最优动态策略之间的差异。
• 采用经过修改的UCRL2框架以适应附加信息，同时妥善处理非独立同分布且依赖于上下文的动态特性。

实验结果

研究问题

• RQ1 我们能否为过渡和奖励函数依赖于附加信息向量的周期性MDP设计一种计算高效的在线学习算法？
• RQ2 在此设置下，可实现的最优遗憾边界是什么？它是否能在周期数 $T$ 上实现次线性增长？
• RQ3 当附加信息显著影响MDP动态时，所提算法的性能与现有方法相比如何？
• RQ4 即使环境以依赖于上下文的方式非平稳，是否仍能实现相对于使用附加信息的最优动态策略的次线性遗憾？
• RQ5 是否可以在不依赖于附加信息或MDP结构的强假设下推导出遗憾边界？

主要发现

• 所提算法实现了 $\widetilde{\mathcal{O}}(L|\mathcal{S}|^2|\mathcal{A}|(n+m)\sqrt{T})$ 的遗憾边界，这是目前针对具有附加信息的MDP在线学习的首个此类边界。
• 遗憾随周期数 $T$ 呈 $O(\sqrt{T})$ 增长，表明其随时间呈次线性增长，具有持续学习能力。
• 该算法计算高效，时间与空间复杂度为 $\mathcal{O}(|\mathcal{A}||\mathcal{S}|^2)$，适合实际部署。
• 在附加信息显著影响动态特性的场景中，该方法优于基线算法（如UCRL2），尽管其理论遗憾因子较高。
• 当附加信息具有信息量时，该遗憾边界比先前结果更紧，因为它考虑了动态策略的自适应能力。
• 分析表明，即使转移和奖励是非独立同分布且依赖于高维附加信息向量，该算法仍能有效学习上下文相关的MDP。