[论文解读] POMDPs in Continuous Time and Discrete Spaces

Bastian Alt, M. Schultheis+1 more|arXiv (Cornell University)|Oct 2, 2020

Reinforcement Learning in Robotics参考文献 53被引用 4

一句话总结

本文提出了一种用于连续时间、具有离散状态与动作空间的系统的连续时间部分可观察马尔可夫决策过程（POMDP）框架，推导出用于最优控制的哈密顿-雅可比-贝尔曼（HJB）方程。提出两种基于深度学习的方法——离线配点法与在线优势更新法，以近似求解由此产生的偏积分微分方程，在玩具问题中展示了信念空间内有效决策，且策略具有定性合理性。

ABSTRACT

Many processes, such as discrete event systems in engineering or population dynamics in biology, evolve in discrete space and continuous time. We consider the problem of optimal decision making in such discrete state and action space systems under partial observability. This places our work at the intersection of optimal filtering and optimal control. At the current state of research, a mathematical description for simultaneous decision making and filtering in continuous time with finite state and action spaces is still missing. In this paper, we give a mathematical description of a continuous-time partial observable Markov decision process (POMDP). By leveraging optimal filtering theory we derive a Hamilton-Jacobi-Bellman (HJB) type equation that characterizes the optimal solution. Using techniques from deep learning we approximately solve the resulting partial integro-differential equation. We present (i) an approach solving the decision problem offline by learning an approximation of the value function and (ii) an online algorithm which provides a solution in belief space using deep reinforcement learning. We show the applicability on a set of toy examples which pave the way for future methods providing solutions for high dimensional problems.

研究动机与目标

• 为连续时间、离散状态的系统在部分可观察条件下的最优决策制定提供一个严谨的数学框架。
• 推导出POMDP模型的连续时间类比，支持同时进行最优滤波与控制。
• 开发基于深度学习的可扩展近似方法，以求解由此产生的高维HJB型方程。
• 在玩具问题上评估该方法，以证明其可行性与理性策略的学习能力。
• 为未来在高维系统（如排队网络与随机混合系统）中的应用奠定基础。

提出的方法

• 利用最优滤波理论形式化连续时间POMDP模型，将POMDP框架扩展至具有离散状态与动作的连续时间场景。
• 推导出一种表征连续时间下最优值函数的哈密顿-雅可比-贝尔曼（HJB）型方程。
• 应用基于配点的离线方法，通过数值求解HJB方程来近似值函数。
• 开发一种基于深度强化学习的在线优势更新算法，用于在信念空间中学习优势函数。
• 使用深度神经网络表示值函数与优势函数，实现在高维信念空间中的函数逼近。
• 在已知动力学下进行信念状态传播，以模拟系统演化并训练策略，而无需完全可观测状态。

实验结果

研究问题

• RQ1 如何为在部分可观察条件下具有离散状态与连续时间动态的系统，构建一个严谨的连续时间POMDP框架？
• RQ2 在此连续时间设定下，表征最优值函数的相应HJB型方程是什么？
• RQ3 能否有效利用深度学习技术来近似求解由此产生的偏积分微分方程？
• RQ4 所提出的离线与在线方法在学习连续时间决策问题的理性、基于信念的策略方面表现如何比较？
• RQ5 在具有部分可观察性的基准问题中，所学习策略的定性与定量特性是什么？

主要发现

• 所提出的连续时间POMDP框架成功将POMDP模型扩展至连续时间，使具有离散状态与连续时间动态的系统能够实现最优决策。
• 推导出的HJB方程为在部分可观察条件下实现连续时间最优控制提供了理论基础，推广了离散时间POMDP。
• 离线配点法生成的值函数对靠近目标的状态赋予更高值，体现出在不确定性下的理性决策行为。
• 在线优势更新法学习到的策略在不确定性下表现出乐观行为，例如在时隙ALOHA问题中，当分组数量不明确时，会选择更低的传输动作。
• 两种方法在玩具问题中均生成了定性合理的策略，且在不同求解技术与信念状态间结果一致。
• 该方法展示了利用深度学习求解连续时间POMDP的可行性，通过降维与滤波近似，具有向高维与连续状态系统扩展的潜力。