[论文解读] QMDP-Net: Deep Learning for Planning under Partial Observability

Péter Karkus, David Hsu+1 more|arXiv (Cornell University)|Mar 20, 2017

Adversarial Robustness in Machine Learning参考文献 28被引用 27

一句话总结

QMDP-Net 是一种可微分的循环神经网络，将 POMDP 模型与 QMDP 规划算法相结合，实现部分可观察性环境下的端到端学习。在实验中，它通过从专家演示中学习更有效、更具任务特异性的模型，优于标准 QMDP 算法，展现出强大的泛化能力和向更大环境的迁移能力。

ABSTRACT

This paper introduces the QMDP-net, a neural network architecture for planning under partial observability. The QMDP-net combines the strengths of model-free learning and model-based planning. It is a recurrent policy network, but it represents a policy for a parameterized set of tasks by connecting a model with a planning algorithm that solves the model, thus embedding the solution structure of planning in a network learning architecture. The QMDP-net is fully differentiable and allows for end-to-end training. We train a QMDP-net on different tasks so that it can generalize to new ones in the parameterized task set and "transfer" to other similar tasks beyond the set. In preliminary experiments, QMDP-net showed strong performance on several robotic tasks in simulation. Interestingly, while QMDP-net encodes the QMDP algorithm, it sometimes outperforms the QMDP algorithm in the experiments, as a result of end-to-end learning.

研究动机与目标

• 解决机器人和序列决策任务中在部分可观察性下的规划挑战。
• 结合无模型深度学习与基于模型规划的优势，以提升策略的泛化能力和迁移能力。
• 实现嵌入 POMDP 结构归纳偏置与 QMDP 规划结构的策略网络的端到端训练。
• 探究通过模仿学习学习一个‘错误但有用’的 POMDP 模型，是否能够超越原始 QMDP 算法。

提出的方法

• QMDP-Net 是一种循环策略网络，利用可微分的贝叶斯滤波器维护信念状态，以整合动作-观测历史。
• 该网络使用 QMDP 算法的可微分实现，基于当前信念选择动作，将规划结构直接嵌入网络架构中。
• 模型通过一组具有共享参数化结构的随机生成 POMDP 环境中的专家演示进行端到端训练。
• 网络的信念更新与动作选择模块均为可微分，支持通过滤波与规划组件的反向传播。
• 通过扩展循环规划模块（例如增加循环层数量）实现向更大环境的迁移，而无需重新训练。
• 该架构允许学习一个紧凑的、任务特定的 POMDP 模型，该模型可能偏离真实模型，但通过端到端优化提升了性能。

实验结果

研究问题

• RQ1 一个嵌入 QMDP 规划算法的深度神经网络，能否从参数化任务集中泛化到新的、未见过的 POMDP 环境？
• RQ2 即使专家数据由 QMDP 生成，QMDP-net 的端到端训练是否仍能带来相对于标准 QMDP 算法的性能提升？
• RQ3 在小型环境中学习的策略是否能成功迁移至显著更大的真实世界环境（如建筑物的 LIDAR 地图）？
• RQ4 该网络在多大程度上能够学习一个‘错误但有用’的 POMDP 模型，以弥补 QMDP 近似带来的局限性？

主要发现

• QMDP-net 在几乎所有测试任务中均优于标准 QMDP 算法，包括具有挑战性的 Hallway2 领域，其性能提升源于对更有效模型的端到端学习。
• 在 Hallway2 领域，网络取得了高达 82.1% 的成功率（K=90），优于 QMDP 的 68.0%，在相同条件下表现更优。
• 在 30×30 网格世界中训练的策略成功迁移至大型真实世界环境（如 Intel Lab，100×101 和 Freiburg，139×57），分别实现了 90.2% 和 88.4% 的成功率。
• 当在成功与失败的 QMDP 演示数据上进行训练时，QMDP-net 并未优于 QMDP，证实性能提升源于从高质量专家数据中学习。
• 网络学习到了一种紧凑的抽象状态表示，实现了高效的规划与泛化，表明其在缓解维度灾难方面具有潜力。
• 结果表明，端到端训练使网络能够学习一种补偿 QMDP 有限规划视野的模型，实际上实现了隐式的奖励塑造。