[论文解读] Recognition Models to Learn Dynamics from Partial Observations with Neural ODEs

Mona Buisson-Fenet, Valéry Morgenthaler+2 more|arXiv (Cornell University)|May 25, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了一种基于非线性观测器理论（特别是Kazantzis-Kravaris/Luenberger，KKL观测器）的识别模型框架，使神经微分方程（NODEs）能够从不完全观测中学习具有物理解释性的动力学。通过将不完整测量映射到潜在状态，该方法提升了泛化能力和物理一致性，在机器人外骨骼数据集上表现出色，相比基线识别模型，其泛化误差显著降低。

ABSTRACT

Identifying dynamical systems from experimental data is a notably difficult task. Prior knowledge generally helps, but the extent of this knowledge varies with the application, and customized models are often needed. Neural ordinary differential equations can be written as a flexible framework for system identification and can incorporate a broad spectrum of physical insight, giving physical interpretability to the resulting latent space. In the case of partial observations, however, the data points cannot directly be mapped to the latent state of the ODE. Hence, we propose to design recognition models, in particular inspired by nonlinear observer theory, to link the partial observations to the latent state. We demonstrate the performance of the proposed approach on numerical simulations and on an experimental dataset from a robotic exoskeleton.

研究动机与目标

• 解决从部分观测中学习动力系统的问题，即并非所有系统状态均可测量。
• 将物理先验知识整合到神经ODE中，以提升模型的可解释性和泛化能力。
• 开发基于非线性观测器理论的识别模型，将部分观测映射到潜在状态。
• 在模拟数据和真实世界机器人外骨骼数据上评估所提出的框架。

提出的方法

• 提出结构化神经ODE，嵌入物理先验知识（如运动学关系，例如 ẋ₁ = x₂），以确保物理可解释性。
• 设计受Kazantzis-Kravaris/Luenberger（KKL）观测器启发的识别模型，用于从部分观测中估计潜在状态。
• 采用前馈网络和RNN-based识别网络作为基线进行对比。
• 使用Adam优化器配合学习率衰减进行端到端训练，并对输入和输出进行归一化以保证数值稳定性。
• 实施结构先验（强制动力学形式）和正则化先验（从线性模型学习残差）以评估模型鲁棒性。
• 使用扩展卡尔曼滤波器（EKF）结合学习到的模型，验证状态估计性能。

实验结果

研究问题

• RQ1 基于KKL的识别模型能否在复杂动力系统中有效从部分观测中重构潜在状态？
• RQ2 将物理先验知识整合到神经ODE中，如何提升模型的泛化能力和可解释性？
• RQ3 在训练稳定性、参数效率和测试性能方面，不同识别模型架构（直接法、RNN+、KKL）之间有何差异？
• RQ4 该方法在训练范围之外的未见输入频率下，其泛化能力能达到何种程度？
• RQ5 所学习的模型能否在预测真实世界机器人外骨骼动力学方面超越基线线性先验模型？

主要发现

• 尽管参数更少，基于KKL的识别模型在长测试轨迹（2秒）上的泛化误差最低，显著优于直接法和RNN+基线。
• 在训练频率范围内的短轨迹（0.2秒）上，采用结构先验（ẋ₁ = x₂，ẋ₃ = x₄）的模型RMSE为0.18，显著优于基线先验模型（RMSE = 5.6）。
• 残差模型设置（对线性先验进行学习修正）的误差更高（RMSE = 0.31），表明基线先验模型的不准确性限制了性能。
• 直接法和RNN+识别模型更容易训练，但泛化误差更高且参数更多，表明训练便捷性与鲁棒性之间存在权衡。
• 使用学习到的模型的EKF实现了稳定的状态估计，证实了该模型在闭环控制应用中的适用性。
• 利用观测输入和输出的统计量进行归一化，即使在潜在状态范围未知的情况下，也能有效维持训练过程的数值稳定性。