[论文解读] PlaNet of the Bayesians: Reconsidering and Improving Deep Planning Network by Incorporating Bayesian Inference

Masashi Okada, Norio Kosaka+1 more|arXiv (Cornell University)|Mar 1, 2020

Reinforcement Learning in Robotics参考文献 30被引用 9

一句话总结

该论文提出 PlaNet-Bayes，即深度规划网络（PlaNet）的贝叶斯扩展，通过神经网络集成方法对模型和动作不确定性进行建模，从而在部分可观察环境中提升性能。通过结合变分推理模型预测控制（VI-MPC）与PaETS的潜在空间版本，PlaNet-Bayes 通过更优的不确定性量化和多模态规划，实现了在渐近性能上优于 PlaNet 的表现。

ABSTRACT

In the present paper, we propose an extension of the Deep Planning Network (PlaNet), also referred to as PlaNet of the Bayesians (PlaNet-Bayes). There has been a growing demand in model predictive control (MPC) in partially observable environments in which complete information is unavailable because of, for example, lack of expensive sensors. PlaNet is a promising solution to realize such latent MPC, as it is used to train state-space models via model-based reinforcement learning (MBRL) and to conduct planning in the latent space. However, recent state-of-the-art strategies mentioned in MBRR literature, such as involving uncertainty into training and planning, have not been considered, significantly suppressing the training performance. The proposed extension is to make PlaNet uncertainty-aware on the basis of Bayesian inference, in which both model and action uncertainty are incorporated. Uncertainty in latent models is represented using a neural network ensemble to approximately infer model posteriors. The ensemble of optimal action candidates is also employed to capture multimodal uncertainty in the optimality. The concept of the action ensemble relies on a general variational inference MPC (VI-MPC) framework and its instance, probabilistic action ensemble with trajectory sampling (PaETS). In this paper, we extend VI-MPC and PaETS, which have been originally introduced in previous literature, to address partially observable cases. We experimentally compare the performances on continuous control tasks, and conclude that our method can consistently improve the asymptotic performance compared with PlaNet.

研究动机与目标

• 为解决 PlaNet 在部分可观察环境中性能受限的问题，使其具备不确定性感知能力。
• 通过近似贝叶斯推断引入模型不确定性，以提升训练与规划性能。
• 通过使用概率动作集成建模多模态动作不确定性，增强规划的鲁棒性。
• 将 VI-MPC 与 PaETS 框架扩展至部分可观察马尔可夫决策过程的潜在空间规划。
• 证明不确定性感知建模可带来相对于基线 PlaNet 的一致性能提升。

提出的方法

• 使用神经网络集成对模型参数 θ 进行近似后验推断，以捕捉潜在动态中的模型不确定性。
• 将变分推理模型预测控制（VI-MPC）用于潜在空间规划，将轨迹优化视为后验推断问题。
• 提出 PaETS 的潜在版本，利用高斯混合模型（GMMs）作为变分分布，以建模多模态最优动作不确定性。
• 通过联合训练潜在动态模型的集成与最优动作的集成，实现模型与动作不确定性的联合建模，用于轨迹采样。
• 采用基于不确定性感知轨迹采样的交叉熵方法（CEM），以提升规划鲁棒性。
• 将该框架应用于连续控制任务，与基线 PlaNet 及消融变体进行性能对比。

实验结果

研究问题

• RQ1 通过贝叶斯推断引入模型不确定性，是否能提升 PlaNet 在部分可观察环境中的渐近性能？
• RQ2 在潜在空间中建模多模态动作不确定性，对规划性能有何影响？
• RQ3 联合建模模型与动作不确定性是否优于单独建模任一类型？
• RQ4 VI-MPC 与 PaETS 框架能否成功扩展至部分可观察设置下的潜在空间规划？
• RQ5 所提出的不确定性感知方法是否比 PlaNet 的启发式 CEM 基规划与固定点模型估计更有效？

主要发现

• PlaNet-Bayes 在连续控制任务中，相较于基线 PlaNet，始终表现出更优的渐近性能。
• 通过神经网络集成引入模型不确定性，可带来相对于 PlaNet 的可测量性能提升。
• 仅建模动作不确定性无法提升性能，因其缺乏多模态表达能力，除非同时具备模型不确定性。
• 联合建模模型与动作不确定性可充分发挥 PaETS 的优势，从而实现最佳性能。
• 视频预测结果表明，PlaNet-Bayes 生成了多样化且具备不确定性感知的轨迹预测，减少了过拟合，并促进了主动探索。
• 消融实验确认，两种不确定性均对最优性能不可或缺，且基于集成的方法优于高斯变分近似。