[论文解读] Near Optimality of Finite Memory Feedback Policies in Partially Observed Markov Decision Processes

Ali̇ Devran Kara, Serdar Yüksel|arXiv (Cornell University)|Oct 14, 2020

Reinforcement Learning in Robotics被引用 6

一句话总结

该论文通过仅使用有限窗口历史对信念空间进行离散化，提出了一种部分可观察马尔可夫决策过程（POMDPs）的有限记忆反馈策略近似方法。在较弱的非线性滤波稳定性条件下，该方法建立了策略的近似最优性，并在指数滤波稳定性成立时给出了明确的指数收敛速率。

ABSTRACT

In the theory of Partially Observed Markov Decision Processes (POMDPs), existence of optimal policies have in general been established via converting the original partially observed stochastic control problem to a fully observed one on the belief space, leading to a belief-MDP. However, computing an optimal policy for this fully observed model, and so for the original POMDP, using classical dynamic or linear programming methods is challenging even if the original system has finite state and action spaces, since the state space of the fully observed belief-MDP model is always uncountable. Furthermore, there exist very few rigorous value function approximation and optimal policy approximation results, as regularity conditions needed often require a tedious study involving the spaces of probability measures leading to properties such as Feller continuity. In this paper, we study a planning problem for POMDPs where the system dynamics and measurement channel model are assumed to be known. We construct an approximate belief model by discretizing the belief space using only finite window information variables. We then find optimal policies for the approximate model and we rigorously establish near optimality of the constructed finite window control policies in POMDPs under mild non-linear filter stability conditions and the assumption that the measurement and action sets are finite (and the state space is real vector valued). We also establish a rate of convergence result which relates the finite window memory size and the approximation error bound, where the rate of convergence is exponential under explicit and testable exponential filter stability conditions. While there exist many experimental results and few rigorous asymptotic convergence results, an explicit rate of convergence result is new in the literature, to our knowledge.

研究动机与目标

• 解决由于信念-MDP表述中信念空间不可数而导致的POMDP最优策略计算难题。
• 开发一种仅使用过去观测和动作有限窗口的有限记忆近似方法，以构建控制策略。
• 在非线性滤波的温和正则性条件下，为所得有限记忆策略提供严格的近似最优性保证。
• 为近似误差提供明确的收敛速率，该速率在可检验的滤波稳定性条件下为指数级。
• 弥合POMDP控制中启发式近似方法与严格理论分析之间的差距。

提出的方法

• 通过仅使用最近有限窗口的观测和动作对信念空间进行离散化，构建近似信念模型。
• 基于此有限记忆信念表示，构建近似POMDP模型，从而实现策略计算的可处理性。
• 在有限记忆模型上使用动态规划和值迭代算法，计算近似系统的最优策略。
• 利用有界利普希茨范数，建立原始POMDP与近似模型之间价值函数差异的界。
• 利用滤波稳定性条件——特别是非线性滤波在总变差距离或有界利普希茨距离下的指数收敛性——推导收敛速率。
• 应用压缩映射论证及期望价值函数差异的递归界，推导最终的收敛速率。

实验结果

研究问题

• RQ1 在较弱的滤波稳定性条件下，有限记忆反馈策略是否能在POMDP中实现近似最优性能？
• RQ2 随着记忆窗口大小的增加，近似误差的收敛速率如何？
• RQ3 信念空间度量的选择（如总变差距离与有界利普希茨距离）如何影响理论保证？
• RQ4 在何种条件下，可保证有限记忆策略的价值函数收敛到真实最优价值函数？
• RQ5 能否为系统动态和观测模型提供显式、可检验的条件，以确保近似误差的指数收敛？

主要发现

• 在较弱的非线性滤波稳定性条件下，有限记忆策略近似具有可证明的近似最优性。
• 当非线性滤波在有界利普希茨范数下满足指数稳定性时，近似误差的显式指数收敛速率得以建立。
• 收敛速率取决于滤波的压缩系数 $\alpha_{\mathcal{Z}}$ 和折扣因子 $\beta$，在指数滤波稳定性下，误差按 $O(\beta^t)$ 衰减。
• 价值函数差异的界是通过有界利普希茨范数导出的，涉及与代价函数和转移核正则性相关的常数。
• 分析表明，近似误差是均匀有界的，并随着记忆窗口大小的增加而收敛至零，且在显式条件下收敛速率呈指数级。
• 结果可推广至一般状态空间（实值向量空间）及有限动作与观测集合，关键假设为非线性滤波的稳定性。