[论文解读] Near-optimal Reinforcement Learning in Factored MDPs

Ian Osband, Benjamin Van Roy|arXiv (Cornell University)|Mar 15, 2014

Advanced Bandit Algorithms Research参考文献 21被引用 54

一句话总结

本文提出两种强化学习算法——PSRL 和 UCRL-Factored——在因子化马尔可夫决策过程（FMDPs）中实现了接近最优的遗憾边界，通过结构化表示使学习复杂度随参数数量而非完整状态和动作空间呈多项式增长。关键贡献在于遗憾边界依赖于因子化参数数量，从而在传统表格方法失效的高维系统中实现高效学习。

ABSTRACT

Any reinforcement learning algorithm that applies to all Markov decision processes (MDPs) will suffer $Ω(\sqrt{SAT})$ regret on some MDP, where $T$ is the elapsed time and $S$ and $A$ are the cardinalities of the state and action spaces. This implies $T = Ω(SA)$ time to guarantee a near-optimal policy. In many settings of practical interest, due to the curse of dimensionality, $S$ and $A$ can be so enormous that this learning time is unacceptable. We establish that, if the system is known to be a \emph{factored} MDP, it is possible to achieve regret that scales polynomially in the number of \emph{parameters} encoding the factored MDP, which may be exponentially smaller than $S$ or $A$. We provide two algorithms that satisfy near-optimal regret bounds in this context: posterior sampling reinforcement learning (PSRL) and an upper confidence bound algorithm (UCRL-Factored).

研究动机与目标

• 解决大规模 MDP 中状态和动作空间过大导致表格强化学习不可行的维度灾难问题。
• 开发利用 MDP 中结构稀疏性的强化学习算法，通过因子化表示降低学习复杂度。
• 为因子化 MDP 建立接近最优的遗憾边界，使其随因子化模型中的参数数量增长，而非 |S| 或 |A|。
• 证明后验采样和置信上界方法可被适配至 FMDPs，实现此类遗憾边界。

提出的方法

• 为 FMDPs 提出 PSRL（后验采样强化学习），其中智能体从后验分布中采样一个合理的 MDP，并在采样模型中采取最优策略。
• 提出 UCRL-Factored，一种置信上界算法，利用因子化结构维护转移和奖励函数的置信集。
• 使用动态贝叶斯网络（DBNs）表示因子化 MDP 的结构，实现对高维状态和动作空间的紧凑表示。
• 采用集中不等式（经验转移和奖励估计的 L1 界）确保采样模型以高概率落在置信集中。
• 通过结合后验采样保证、置信集有效性与规划误差边界，推导出遗憾边界。
• 依赖近似 FMDP 规划器作为子程序，重点在于统计效率而非计算复杂度。

实验结果

研究问题

• RQ1 当状态和动作空间呈指数级增长时，强化学习算法是否能在因子化 MDP 中实现接近最优的遗憾？
• RQ2 利用 MDP 的因子化结构是否可使遗憾边界随参数数量增长，而非 |S| 或 |A|？
• RQ3 后验采样和置信上界方法是否可被适配至 FMDPs 以实现此类遗憾边界？
• RQ4 UCRL-Factored 中的置信集构建如何利用 DBN 结构以减少遗憾？
• RQ5 规划误差和模型不确定性对因子化设置中整体遗憾的影响如何？

主要发现

• 所提出的 PSRL 和 UCRL-Factored 算法在因子化 MDP 中实现了接近最优的遗憾边界，遗憾边界随参数数量呈 O(√T) 增长，而非 |S| 或 |A|。
• PSRL 的遗憾边界为 O(√T)，仅受因子化参数数量的对数和常数因子影响，与信息论下限边界相比仅差对数项。
• 分析表明，两种算法均能通过经验转移和奖励估计的集中不等式，维持对真实 MDP 的高概率置信集。
• 置信集通过 L1 偏差界构建，确保真实 MDP 以高概率落在集合内，从而支持有效的后验采样。
• 只要规划器的误差有界且模型从有效后验中采样，遗憾边界对近似规划具有鲁棒性。
• 结果在已知因子化结构（DBN）且规划器作为黑箱可用的假设下成立。