[论文解读] Reinforcement Learning in Rich-Observation MDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|Nov 11, 2016

Reinforcement Learning in Robotics参考文献 30被引用 12

一句话总结

本文提出 SL-UCRL，一种用于丰富观测马尔可夫决策过程（ROMDPs）的强化学习算法，利用谱分解方法将高维观测映射到低维隐状态空间。通过将观测聚类为潜在状态，并在估计的隐马尔可夫决策过程上应用 UCRL，该算法在渐近意义上实现了与已知最优 UCRL 算法相当的遗憾，且遗憾仅随潜在状态数量增长，而不随观测空间大小增长。

ABSTRACT

Reinforcement learning (RL) in Markov decision processes (MDPs) with large state spaces is a challenging problem. The performance of standard RL algorithms degrades drastically with the dimensionality of state space. However, in practice, these large MDPs typically incorporate a latent or hidden low-dimensional structure. In this paper, we study the setting of rich-observation Markov decision processes (ROMDP), where there are a small number of hidden states which possess an injective mapping to the observation states. In other words, every observation state is generated through a single hidden state, and this mapping is unknown a priori. We introduce a spectral decomposition method that consistently learns this mapping, and more importantly, achieves it with low regret. The estimated mapping is integrated into an optimistic RL algorithm (UCRL), which operates on the estimated hidden space. We derive finite-time regret bounds for our algorithm with a weak dependence on the dimensionality of the observed space. In fact, our algorithm asymptotically achieves the same average regret as the oracle UCRL algorithm, which has the knowledge of the mapping from hidden to observed spaces. Thus, we derive an efficient spectral RL algorithm for ROMDPs.

研究动机与目标

• 解决标准强化学习算法在状态空间较大且为高维时遗憾过高的挑战。
• 利用大规模观测 MDP 中的低维潜在结构，以提高学习效率和遗憾界。
• 开发一种无需预先知晓单射映射即可从观测中学习隐状态映射的方法。
• 将谱聚类集成到乐观强化学习框架（UCRL）中，以保持遗憾保证。
• 实现遗憾随潜在状态数量增长，而非观测数量，渐近意义上匹配最优情况。

提出的方法

• 对观测轨迹使用基于张量的谱分解，以估计从观测到隐状态的映射。
• 应用 Anandkumar 等人（2014）提出的谱聚类方法，以高概率识别对应于潜在状态的聚类。
• 在估计的隐状态上构建辅助 MDP，并应用 UCRL 实现探索与利用的权衡。
• 采用基于 Hoeffding 型不等式的置信区间，以确保在辅助 MDP 中过渡概率估计的准确性。
• 采用基于周期的在线学习机制，定期使用收集的样本更新映射，随时间推移提高聚类精度。
• 将估计的隐状态空间集成到 UCRL 中，使计算复杂度从 O(Y³) 降低至 O(X³)，其中 Y 为观测空间大小，X 为潜在状态数量。

实验结果

研究问题

• RQ1 谱方法能否在未知单射映射的情况下，可靠地恢复大规模观测 MDP 中的潜在状态结构？
• RQ2 在估计的隐状态空间中学习是否能实现与已知潜在结构的最优算法相当的遗憾？
• RQ3 该算法是否能仅以对观测空间大小 Y 的弱依赖性，实现低遗憾？
• RQ4 遗憾如何随潜在状态数量 X 和时间范围 N 变化？
• RQ5 聚类精度对整体学习性能和遗憾的影响如何？

主要发现

• SL-UCRL 算法实现了渐近意义上与已知最优 UCRL 算法相当的遗憾界，后者拥有完整的隐状态到观测映射知识。
• SL-UCRL 的遗憾仅依赖于潜在状态数量 X，而不依赖于观测空间大小 Y，从而显著提升了可扩展性。
• 随着聚类性能的提升，算法的时间和空间复杂度从 O(Y³) 降低至 O(X³)，这是由于辅助 MDP 的规模减小所致。
• 学习正确聚类所需的步数是有界的，且不随时间范围 N 增大，因此在聚类阶段遗憾保持恒定。
• 实验结果表明，SL-UCRL 在遗憾和鲁棒性方面优于 UCRL 和 DQN，即使在无真实潜在结构的随机 MDP 中亦然。
• 在实践中，即使真实潜在结构不存在，该算法仍能成功识别近似聚类，这得益于谱方法检测潜在分组的能力。