[论文解读] Online Dynamics Learning for Predictive Control with an Application to Aerial Robots

Tom Z. Jiahao, Kong Yao Chee+1 more|arXiv (Cornell University)|Jul 19, 2022

Advanced Control Systems Optimization被引用 7

一句话总结

该论文提出 KNODE-MPC-Online，一种在线动力学学习框架，可在部署过程中持续优化基于知识的神经微分方程（KNODE）模型，用于空中机器人的模型预测控制（MPC）。通过借鉴迁移学习的技术并使用轻量级神经网络学习残差动力学，该方法在中等飞行质量扰动下，轨迹跟踪的中位均方误差（MSE）相比基准 MPC 降低了 55.1%，在四旋翼飞行器的实际实验中展现出更优的自适应性与鲁棒性。

ABSTRACT

In this work, we consider the task of improving the accuracy of dynamic models for model predictive control (MPC) in an online setting. Although prediction models can be learned and applied to model-based controllers, these models are often learned offline. In this offline setting, training data is first collected and a prediction model is learned through an elaborated training procedure. However, since the model is learned offline, it does not adapt to disturbances or model errors observed during deployment. To improve the adaptiveness of the model and the controller, we propose an online dynamics learning framework that continually improves the accuracy of the dynamic model during deployment. We adopt knowledge-based neural ordinary differential equations (KNODE) as the dynamic models, and use techniques inspired by transfer learning to continually improve the model accuracy. We demonstrate the efficacy of our framework with a quadrotor, and verify the framework in both simulations and physical experiments. Results show that our approach can account for disturbances that are possibly time-varying, while maintaining good trajectory tracking performance.

研究动机与目标

• 通过在部署过程中实现动态模型的在线学习，提升空中机器人中模型预测控制（MPC）的自适应能力。
• 解决离线训练模型在真实运行中遭遇时变扰动或模型误差时无法自适应的问题。
• 开发一种样本高效、具备实时处理能力的框架，利用流式传感器数据持续提升动态模型的准确性。
• 在仿真与真实四旋翼飞行器实验中，验证在线动力学学习的有效性。
• 使 MPC 控制器在遭遇未预见的系统变化（如飞行中质量扰动）时，仍能保持高轨迹跟踪性能。

提出的方法

• 该框架采用基于知识的神经微分方程（KNODE）来建模残差动力学，结合物理先验与数据驱动学习。
• 采用受迁移学习启发的适应策略，利用飞行过程中新采集的数据对 KNODE 模型进行增量式更新。
• 通过最近测量数据的滑动窗口在线优化动态模型，神经网络队列大小为 p=3，数据采集间隔为 t_col=2s。
• 将在线模型集成至 MPC 控制器中，生成加速度指令，再传递给底层控制器执行。
• 系统采用分层控制架构，使用 VICON 进行位置反馈，结合机载 IMU 实现速度与加速度估计。
• 该框架在 Crazyflie 四旋翼飞行器上实现，使用 CrazyROS，并通过 Crazyradio PA 以 400 Hz 的频率通信，实现实时控制。

实验结果

研究问题

• RQ1 当面对离线训练数据中未包含的时变扰动时，在线动力学学习能否提升空中机器人中 MPC 的性能？
• RQ2 在质量扰动条件下，所提出的基于在线 KNODE 的模型自适应方法与离线学习及基线 MPC 相比，其轨迹跟踪精度如何？
• RQ3 与离线和基准控制方法相比，该在线框架在多次飞行实验中能将跟踪误差与方差降低到何种程度？
• RQ4 在数据有限的真实部署场景中，该在线学习框架的样本效率如何？
• RQ5 当扰动仅影响部分自由度时，该框架能否在所有三个空间轴（x、y、z）上保持一致的性能表现？

主要发现

• 在飞行中质量扰动条件下，KNODE-MPC-Online 相较于基准 MPC，将轨迹跟踪中位均方误差（MSE）降低了 55.1%。
• 与离线 KNODE-MPC 基线相比，该方法将 MSE 降低了 21.3%，表明其对未建模扰动具有更优的自适应能力。
• 与几何控制器相比，该框架在 MSE 上实现了 43.2% 的改进，证明其在处理复杂、时变动力学方面的有效性。
• KNODE-MPC-Online 在 40 次实验运行中表现出更低的跟踪性能方差，表明其控制性能稳定且鲁棒。
• 尽管在 z 轴上进行了补偿，离线 KNODE-MPC 模型在 x 和 y 轴上表现欠佳，表明其未能泛化至训练数据中未出现的扰动。
• 在线框架成功适应了所有三个轴上的扰动，尤其在 x 和 y 平面表现优异，而离线模型在此处完全失效。