[论文解读] Real-Time Model Calibration with Deep Reinforcement Learning

Yuan Tian, Manuel Arias Chao+3 more|arXiv (Cornell University)|Jun 7, 2020

Fault Detection and Control Systems参考文献 48被引用 12

一句话总结

本文提出了一种深度强化学习框架，即基于约束李雅普诺夫的演员-critic（CLAC）算法，以实现实时、鲁棒且精确的物理模型参数校准，从噪声观测数据中进行。通过将模型校准重新表述为跟踪问题，该方法在速度和稳定性方面优于传统方法（如无迹卡尔曼滤波器和端到端深度学习），在噪声数据集上的推理精度提高了4倍。

ABSTRACT

The dynamic, real-time, and accurate inference of model parameters from empirical data is of great importance in many scientific and engineering disciplines that use computational models (such as a digital twin) for the analysis and prediction of complex physical processes. However, fast and accurate inference for processes with large and high dimensional datasets cannot easily be achieved with state-of-the-art methods under noisy real-world conditions. The primary reason is that the inference of model parameters with traditional techniques based on optimisation or sampling often suffers from computational and statistical challenges, resulting in a trade-off between accuracy and deployment time. In this paper, we propose a novel framework for inference of model parameters based on reinforcement learning. The contribution of the paper is twofold: 1) We reformulate the inference problem as a tracking problem with the objective of learning a policy that forces the response of the physics-based model to follow the observations; 2) We propose the constrained Lyapunov-based actor-critic (CLAC) algorithm to enable the robust and accurate inference of physics-based model parameters in real time under noisy real-world conditions. The proposed methodology is demonstrated and evaluated on two model-based diagnostics test cases utilizing two different physics-based models of turbofan engines. The performance of the methodology is compared to that of two alternative approaches: a state update method (unscented Kalman filter) and a supervised end-to-end mapping with deep neural networks. The experimental results demonstrate that the proposed methodology outperforms all other tested methods in terms of speed and robustness, with high inference accuracy.

研究动机与目标

• 解决在噪声大、高维且动态条件下，对基于物理的模型参数进行实时、准确且鲁棒推断的挑战。
• 克服传统优化和基于采样的推断方法在实际应用中面临的计算和统计局限性。
• 开发一种可扩展的、基于仿真训练的框架，无需真实校准参数即可进行训练。
• 通过学习策略精确跟踪观测到的系统行为，实现在航空发动机等关键安全系统中的实时诊断。
• 证明利用深度强化学习可同时学习系统物理特性与推断机制，而无需显式求解逆问题。

提出的方法

• 将模型校准重新表述为强化学习跟踪问题，其中策略驱动模型输出以匹配观测数据。
• 提出基于约束李雅普诺夫的演员-critic（CLAC）算法，以在噪声观测下稳定学习并确保策略收敛。
• 使用深度神经网络策略，将模型状态和观测映射为参数更新，通过最大熵强化学习进行训练。
• 引入基于李雅普诺夫的约束，以增强稳定性并减少策略方差，尤其在模型不确定性和噪声条件下。
• 在仅使用基于物理的模型和观测数据、无需真实校准参数的情况下，在仿真环境中训练整个框架。
• 利用代理DNN模型加速推理，同时保持与底层物理仿真的一致性。

实验结果

研究问题

• RQ1 在噪声大、高维的条件下，强化学习能否有效实现实时的物理模型校准？
• RQ2 在存在观测噪声和模型噪声的情况下，CLAC算法相比标准演员-critic方法在鲁棒性和稳定性方面有何改进？
• RQ3 在未访问真实校准参数的情况下，深度强化学习策略在多大程度上能泛化到未见的退化轨迹？
• RQ4 与成熟的无迹卡尔曼滤波器和端到端深度学习等技术相比，该方法在精度和速度方面表现如何？
• RQ5 单一强化学习框架能否同时学习系统的物理特性与参数校准的推断机制？

主要发现

• 在数据集#1上，CLAC算法相比LAC基线将均方根误差（RMSE）从1.3e-3降低至3.3e-4，推理精度提高了4倍。
• 在数据集#1上，CLAC的RMSE为0.98，尽管误差略高，但相比UKF（RMSE 0.62）展现出更强的泛化能力和稳定性。
• 在数据集#2上，CLAC的RMSE为5.54，表明其在更复杂、多样的飞行条件下性能优异，即使DNN模型存在噪声且精度较低。
• 在噪声大、高变异性场景下，CLAC策略相比LAC策略表现出显著更低的方差，并与真实动作更一致。
• 该框架无需求解逆问题或依赖真实校准参数，仅依靠模型和观测数据即可实现实时校准。
• 该方法在未见退化轨迹上表现出良好的泛化能力，表明其在真实世界部署场景中具备强大的可迁移性和鲁棒性。