[论文解读] Physics-informed Dyna-Style Model-Based Deep Reinforcement Learning for Dynamic Control

Xin‐Yang Liu, Jianxun Wang|arXiv (Cornell University)|Jul 30, 2021

Model Reduction and Neural Networks参考文献 89被引用 41

一句话总结

本文提出一种物理信息模型化强化学习框架（PiMBRL），将控制物理定律（如偏微分方程）整合到深度神经网络动力学模型中，以减少模型偏差并提高样本效率。通过在训练过程中施加物理约束，PiMBRL 在柯曼托-西瓦辛斯基方程等混沌系统中，相较于模型无关或纯数据驱动的模型化方法，实现了更高的预测精度和更快的收敛速度。

ABSTRACT

Model-based reinforcement learning (MBRL) is believed to have much higher sample efficiency compared to model-free algorithms by learning a predictive model of the environment. However, the performance of MBRL highly relies on the quality of the learned model, which is usually built in a black-box manner and may have poor predictive accuracy outside of the data distribution. The deficiencies of the learned model may prevent the policy from being fully optimized. Although some uncertainty analysis-based remedies have been proposed to alleviate this issue, model bias still poses a great challenge for MBRL. In this work, we propose to leverage the prior knowledge of underlying physics of the environment, where the governing laws are (partially) known. In particular, we developed a physics-informed MBRL framework, where governing equations and physical constraints are utilized to inform the model learning and policy search. By incorporating the prior information of the environment, the quality of the learned model can be notably improved, while the required interactions with the environment are significantly reduced, leading to better sample efficiency and learning performance. The effectiveness and merit have been demonstrated over a handful of classic control problems, where the environments are governed by canonical ordinary/partial differential equations.

研究动机与目标

• 解决模型化强化学习（MBRL）中模型偏差的关键挑战，特别是在数据稀缺和分布外（out-of-distribution）场景下。
• 提升在复杂物理系统（如由 PDE 控制的流体流动）中训练 RL 代理的样本效率，其中真实世界交互成本高且具有风险。
• 利用已知物理定律（如控制 PDE）作为归纳偏差，对学习到的动力学模型施加约束和正则化，以减少过拟合并提升泛化能力。
• 开发一个统一框架，联合优化动力学模型与策略，结合物理信息约束，实现更快、更鲁棒的学习。
• 在典型混沌控制问题中，证明物理信息方法相较于模型无关和纯数据驱动 MBRL 的优越性。

提出的方法

• 提出一种物理信息模型化强化学习框架（PiMBRL），在模型训练过程中将已知控制方程（如黏性伯吉斯方程和柯曼托-西瓦辛斯基 PDE）作为软约束嵌入。
• 采用基于自编码器的循环神经网络，从有限的环境交互中学习时空动力学，通过损失项施加物理约束。
• 引入模型精度阈值 λ，动态决定何时使用学习到的模型进行滚动预测（rollouts），以平衡探索与利用。
• 使用双延迟深度确定性策略梯度（TD3）算法，联合训练动力学模型与策略，模型同时受数据和物理定律引导。
• 通过 PDE 残差的残差最小化方法，将物理约束融入损失函数，确保模型尊重底层物理行为。
• 采用混合回放缓冲区，结合真实环境转移数据（Dr）与模型生成的滚动预测数据（Df），并引入基于阈值的切换机制，以提升数据效率。

实验结果

研究问题

• RQ1 将已知物理定律整合到 MBRL 的动力学模型中，是否能显著降低混沌系统中的模型偏差并提升预测精度？
• RQ2 在样本效率和最终性能方面，物理信息模型化方法相较于模型无关和纯数据驱动 MBRL 表现如何？
• RQ3 模型精度阈值 λ 对 RL 代理的学习速度和收敛性有何影响？
• RQ4 联合训练物理信息模型与策略，如何提升在分布外场景下的泛化能力和鲁棒性？
• RQ5 在高维、复杂动力学且数据稀缺的环境中，物理信息约束在多大程度上可减少过拟合？

主要发现

• 由于引入了物理约束，PiMBRL 的模型预测精度显著高于纯数据驱动的 MBRL，尤其在长时程滚动预测中表现更优。
• 该方法展现出卓越的样本效率，RL 代理收敛更快，且达到的总回报高于模型无关和标准 MBRL 基线方法。
• 在柯曼托-西瓦辛斯基（KS）系统中，λ = 0.02 的 PiMBRL 比 λ = 0.01 或 λ = 0.005 略快实现早期收敛，原因在于更早地访问到模型生成的数据。
• 所有测试的 λ 值（0.02、0.01、0.005）最终性能相近，表明无论阈值如何，由于与策略的联合训练，模型质量均收敛至相近水平。
• 通过将物理定律作为归纳偏差嵌入，该框架有效减少了过拟合并提升了在数据稀缺和分布外场景下的鲁棒性。
• 在黏性伯吉斯方程和 KS 方程上的实证结果表明，PiMBRL 在模型精度、学习速度和最终回报方面均优于模型无关和数据驱动 MBRL。