[论文解读] Variational Inference for Data-Efficient Model Learning in POMDPs

Sebastian Tschiatschek, Kai Arulkumaran+2 more|arXiv (Cornell University)|May 23, 2018

Reinforcement Learning in Robotics参考文献 38被引用 7

一句话总结

该论文提出 DELIP，一种基于结构化近似变分推断的、用于部分可观察马尔可夫决策过程（POMDP）的数据高效模型学习方法，用于学习动力学和奖励的生成模型。通过将这些学习到的模型与黑箱规划器（如 POMCP）结合，DELIP 在显著降低样本复杂度的前提下实现了高效的控制策略，尤其在奖励未知或动态变化的环境中表现突出。

ABSTRACT

Partially observable Markov decision processes (POMDPs) are a powerful abstraction for tasks that require decision making under uncertainty, and capture a wide range of real world tasks. Today, effective planning approaches exist that generate effective strategies given black-box models of a POMDP task. Yet, an open question is how to acquire accurate models for complex domains. In this paper we propose DELIP, an approach to model learning for POMDPs that utilizes amortized structured variational inference. We empirically show that our model leads to effective control strategies when coupled with state-of-the-art planners. Intuitively, model-based approaches should be particularly beneficial in environments with changing reward structures, or where rewards are initially unknown. Our experiments confirm that DELIP is particularly effective in this setting.

研究动机与目标

• 为解决部分可观察马尔可夫决策过程（POMDP）中因部分观测导致智能体需基于长期交互历史进行推理而带来的数据效率低下问题。
• 开发一种灵活且端到端可训练的模型学习框架，最大限度减少对领域特定假设和先验知识的依赖。
• 通过从有限交互数据中学习精确的动力学与奖励模型，实现在 POMDP 中的有效规划。
• 证明基于变分推断的模型学习方法在样本效率方面可超越模型无学习基线，尤其在奖励结构初始未知或随时间变化时表现更优。

提出的方法

• DELIP 采用结构化近似变分推断，利用深度神经网络参数化后验分布，学习 POMDP 中潜在状态、动作和观测的联合后验分布。
• 该方法将环境建模为深度状态空间模型，其中潜在状态捕捉隐藏动力学，观测则条件性地由这些状态生成。
• 通过识别网络从观测序列中推断潜在状态的后验分布，实现近似推断并支持高效的在线适应。
• 将学习到的生成模型与黑箱规划器（POMCP）集成，使智能体可在无需显式模型知识的前提下，基于推断模型进行规划。
• 通过随机梯度变分推断实现端到端训练，优化观测轨迹对数似然的可微分变分下界（ELBO）。
• 该方法设计具备可扩展性和通用性，避免对动力学或观测模型施加强参数化假设。

实验结果

研究问题

• RQ1 结构化近似变分推断能否实现从有限交互数据中高效学习 POMDP 动力学与奖励模型？
• RQ2 在奖励初始未知或随时间变化时，DELIP 相较于模型无学习基线（如 DRQN）在样本效率方面表现如何？
• RQ3 结合黑箱规划器的已学习模型，在复杂且部分可观察的环境中，能在多大程度上生成有效的控制策略？
• RQ4 与非近似化或模型无学习方法相比，对潜在状态采用近似推断是否能提升泛化能力和样本效率？

主要发现

• 在奖励结构未知或动态变化的环境中，DELIP 实现了与模型无学习基线相当的控制性能，但训练样本显著更少。
• 将基于变分推断的模型学习与 POMCP 结合，即使在环境动力学复杂且部分可观测的情况下，也能实现有效规划。
• 实验表明，DELIP 在样本效率方面优于 DRQN 模型无学习基线，尤其在奖励无法事先获知的场景中表现更优。
• 采用近似推断可实现对长交互序列的高效、可扩展推断，显著降低信念状态估计的计算负担。
• 学习到的模型在不同奖励函数之间具有良好泛化能力，表现出对奖励变化的鲁棒性。
• 该方法实现了模型学习与规划的闭环，表明现代变分推断可有效用于构建端到端的数据高效 POMDP 智能体。