[论文解读] Physics-Informed Model-Based Reinforcement Learning

Adithya Ramesh, Balaraman Ravindran|arXiv (Cornell University)|Dec 5, 2022

Reinforcement Learning in Robotics被引用 9

一句话总结

本文提出了一种基于物理规律的模型化强化学习（MBRL）框架，利用可微分的物理规律神经网络（PINNs）提升机器人控制任务中的样本效率与性能。通过训练符合物理定律的动力学模型，该方法在混沌且对初始条件敏感的环境中，相比标准MBRL实现了显著更高的平均回报和样本效率，甚至优于最先进的无模型算法（如Soft Actor-Critic）。

ABSTRACT

We apply reinforcement learning (RL) to robotics tasks. One of the drawbacks of traditional RL algorithms has been their poor sample efficiency. One approach to improve the sample efficiency is model-based RL. In our model-based RL algorithm, we learn a model of the environment, essentially its transition dynamics and reward function, use it to generate imaginary trajectories and backpropagate through them to update the policy, exploiting the differentiability of the model. Intuitively, learning more accurate models should lead to better model-based RL performance. Recently, there has been growing interest in developing better deep neural network based dynamics models for physical systems, by utilizing the structure of the underlying physics. We focus on robotic systems undergoing rigid body motion without contacts. We compare two versions of our model-based RL algorithm, one which uses a standard deep neural network based dynamics model and the other which uses a much more accurate, physics-informed neural network based dynamics model. We show that, in model-based RL, model accuracy mainly matters in environments that are sensitive to initial conditions, where numerical errors accumulate fast. In these environments, the physics-informed version of our algorithm achieves significantly better average-return and sample efficiency. In environments that are not sensitive to initial conditions, both versions of our algorithm achieve similar average-return, while the physics-informed version achieves better sample efficiency. We also show that, in challenging environments, physics-informed model-based RL achieves better average-return than state-of-the-art model-free RL algorithms such as Soft Actor-Critic, as it computes the policy-gradient analytically, while the latter estimates it through sampling.

研究动机与目标

• 解决传统强化学习（RL）在机器人控制任务中样本效率低下的问题。
• 通过在学习到的动力学模型中引入物理约束，提升模型化强化学习的样本效率。
• 探究在对初始条件敏感程度不同的环境中，基于物理规律的动力学模型是否能带来更优的策略学习效果。
• 证明在模型化强化学习中，通过反向传播计算策略梯度可超越基于采样的方法（如Soft Actor-Critic）。
• 将李雅普诺夫指数估计的变分方程扩展至受迫的自治动力系统，以量化对初始条件的敏感性。

提出的方法

• 训练一个可微分的、基于物理规律的神经网络（PINN）动力学模型，以强制遵守能量守恒等物理定律。
• 利用学习到的动力学模型，通过时间反向传播生成虚拟轨迹，用于策略优化。
• 采用混合训练策略：在真实轨迹收集与基于虚拟轨迹更新模型和策略之间交替进行。
• 通过扩展的变分方程计算有限时间最大李雅普诺夫指数，以量化受迫系统中对初始条件的敏感性。
• 使用一种基于模型的强化学习算法，通过虚拟轨迹反向传播梯度来更新策略，实现解析的策略梯度计算。
• 对比两种变体：一种使用标准深度神经网络（DNN）动力学模型，另一种使用基于物理规律的神经网络（LNN）动力学模型。

实验结果

研究问题

• RQ1 使用基于物理规律的动力学模型是否能提升机器人系统在模型化强化学习中的样本效率与最终性能？
• RQ2 在哪些类型的环境中——特别是对初始条件敏感的环境——动力学模型的准确性对MBRL性能的影响最为显著？
• RQ3 在具有挑战性的控制任务中，基于物理规律的模型化强化学习与最先进的无模型算法（如Soft Actor-Critic）相比表现如何？
• RQ4 通过扩展的变分方程计算的有限时间最大李雅普诺夫指数，能否作为标准模型与基于物理规律模型在MBRL性能差异上的可靠预测指标？
• RQ5 在模型化强化学习中，解析的策略梯度计算在多大程度上优于无模型方法中的基于采样的估计？

主要发现

• 在对初始条件敏感的环境中（如Cart-2-pole、Acrobot和Cart-3-pole），基于物理规律的MBRL变体相比标准DNN-based MBRL实现了显著更高的平均回报。
• 基于物理规律的MBRL方法在所有环境中均表现出更优的样本效率，尤其在混沌系统中提升最大，因为数值误差会迅速累积。
• 在非敏感环境（如Reacher和Pendulum）中，两种MBRL变体的平均回报相近，但基于物理规律的版本仍展现出更好的样本效率。
• 由于采用了解析的策略梯度计算而非基于采样的估计，基于物理规律的模型化强化学习在具有挑战性的环境中平均回报优于Soft Actor-Critic。
• 通过为受迫系统扩展的变分方程计算的有限时间最大李雅普诺夫指数，成功识别出模型准确性对性能有关键影响的环境。
• 与DNN模型相比，基于LNN的动力学模型表现出更低的动力学误差和更慢的轨迹误差累积，尤其是在长时序范围内，从而产生更稳定、更准确的虚拟轨迹。