[论文解读] Reinforcement Learning of POMDPs using Spectral Methods

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|Feb 25, 2016

Reinforcement Learning in Robotics参考文献 28被引用 7

一句话总结

本文提出 SM-UCRL，一种用于部分可观察马尔可夫决策过程（POMDP）的强化学习算法，结合了谱方法以实现一致的参数估计与基于置信上界（upper-confidence）的探索策略。该算法实现了阶最优的遗憾（regret），并能高效地随观测空间和动作空间维度扩展，是首个在无记忆规划预言机假设下，对一大类 POMDP 提供可证明高效的强化学习算法。

ABSTRACT

We propose a new reinforcement learning algorithm for partially observable Markov decision processes (POMDP) based on spectral decomposition methods. While spectral methods have been previously employed for consistent learning of (passive) latent variable models such as hidden Markov models, POMDPs are more challenging since the learner interacts with the environment and possibly changes the future observations in the process. We devise a learning algorithm running through episodes, in each episode we employ spectral techniques to learn the POMDP parameters from a trajectory generated by a fixed policy. At the end of the episode, an optimization oracle returns the optimal memoryless planning policy which maximizes the expected reward based on the estimated POMDP model. We prove an order-optimal regret bound with respect to the optimal memoryless policy and efficient scaling with respect to the dimensionality of observation and action spaces.

研究动机与目标

• 解决在部分可观察马尔可夫决策过程（POMDP）中学习的挑战，其中真实状态是隐变量，仅能获得噪声观测。
• 开发一种强化学习算法，即使在存在隐状态结构与部分可观察性的情况下，也能确保强遗憾保证。
• 将谱分解用于一致估计 POMDP 参数，结合受 MDP 中 UCRL 启发的探索-利用策略。
• 在假设可访问无记忆策略优化预言机的前提下，证明阶最优的遗憾边界。
• 以可证明的样本效率方式，实现对观测空间与动作空间维度的高效扩展。

提出的方法

• 该算法利用从轨迹中计算的矩张量的谱分解，以一致且统计高效的方式估计 POMDP 参数（转移、观测与奖励模型）。
• 算法以回合制运行，在固定策略下收集数据，直至累积足够的统计量以进行谱估计。
• 每个回合结束时，优化预言机基于估计的 POMDP 模型计算最优无记忆策略。
• 探索策略基于置信上界（UCRL 风格），利用从谱估计误差界导出的置信区间，平衡探索与利用。
• 该方法依赖去白化（de-whitening）与张量分解技术，从观测数据中恢复隐状态分布与模型参数。
• 理论分析利用集中不等式与矩阵扰动界，控制估计误差并推导出遗憾保证。

实验结果

研究问题

• RQ1 谱方法能否有效适应于 POMDP 中的强化学习，其中智能体主动交互并改变数据分布？
• RQ2 结合谱估计与置信上界探索的算法在 POMDP 中可实现何种遗憾边界？
• RQ3 在遗憾与样本复杂度方面，该算法在观测空间与动作空间维度上的扩展性如何？
• RQ4 在无记忆规划策略假设下，是否可能在 POMDP 中实现阶最优遗憾并具有可证明的保证？
• RQ5 当在连续信念空间上规划不可行时，优化预言机在实现高效学习中起到何种作用？

主要发现

• 所提出的 SM-UCRL 算法在 POMDP 中实现了相对于最优无记忆策略的阶最优遗憾。
• 遗憾边界能高效地随观测空间与动作空间维度扩展，确保实际可行性。
• 谱方法可从观测数据中实现对 POMDP 参数的一致估计，即使在存在隐状态结构的情况下亦成立。
• 在适当的样本量下，隐状态分布的估计误差以高概率满足 $ \big\| \boldsymbol{\nu}_i - \boldsymbol{\nu}_i^{\text{est}} \big\|_2 \rightarrow 0 $。
• 该算法实现了 $ O(\text{polylog}(T) \times \text{poly}(X,Y,A)) $ 阶的遗憾边界，其中 $ X, Y, A $ 分别为状态数、观测数与动作数。
• 理论分析确认，谱估计误差通过集中不等式与矩阵扰动理论得到控制，从而导出用于探索的紧致置信区间。