[论文解读] Parameter Estimation with Dense and Convolutional Neural Networks Applied to the FitzHugh-Nagumo ODE

Johann Rudi, Julie Bessac+1 more|arXiv (Cornell University)|Dec 12, 2020

Neural dynamics and brain function参考文献 47被引用 19

一句话总结

本文提出一种基于密集连接与卷积神经网络（CNN）的深度学习框架，旨在从含噪声的时间序列数据中估计 FitzHugh-Nagumo 常微分方程（ODE）的参数。通过训练神经网络学习从观测数据到模型参数的重建映射，该方法在传统优化方法失效的高难度非凸、非线性反问题中仍能实现高精度参数估计，且在处理部分或含噪声数据时，CNN 的表现优于密集网络。

ABSTRACT

Machine learning algorithms have been successfully used to approximate nonlinear maps under weak assumptions on the structure and properties of the maps. We present deep neural networks using dense and convolutional layers to solve an inverse problem, where we seek to estimate parameters of a FitzHugh-Nagumo model, which consists of a nonlinear system of ordinary differential equations (ODEs). We employ the neural networks to approximate reconstruction maps for model parameter estimation from observational data, where the data comes from the solution of the ODE and takes the form of a time series representing dynamically spiking membrane potential of a biological neuron. We target this dynamical model because of the computational challenges it poses in an inference setting, namely, having a highly nonlinear and nonconvex data misfit term and permitting only weakly informative priors on parameters. These challenges cause traditional optimization to fail and alternative algorithms to exhibit large computational costs. We quantify the prediction errors of model parameters obtained from the neural networks and investigate the effects of network architectures with and without the presence of noise in observational data. We generalize our framework for neural network-based reconstruction maps to simultaneously estimate ODE parameters and parameters of autocorrelated observational noise. Our results demonstrate that deep neural networks have the potential to estimate parameters in dynamical models and stochastic processes, and they are capable of predicting parameters accurately for the FitzHugh-Nagumo model.

研究动机与目标

• 为解决 FitzHugh-Nagumo ODE 参数估计中的计算挑战，该 ODE 具有高度非线性且非凸的损失函数，且先验信息较弱。
• 开发一种基于深度学习的框架，学习从观测时间序列到 ODE 参数的重建映射，从而绕过传统优化方法的失败问题。
• 在不同噪声水平与数据完整性条件下，评估密集网络与卷积神经网络架构在参数估计中的性能表现。
• 将框架扩展至联合估计 ODE 参数与自相关观测噪声参数。
• 评估神经网络在测试数据包含未见过的噪声水平或部分观测时的泛化能力。

提出的方法

• 训练深度神经网络（密集网络与 CNN）将 FitzHugh-Nagumo ODE 解的时间序列数据映射到其底层参数，通过监督训练学习重建映射。
• 通过多次求解不同参数组合的正向 ODE 问题，并添加受控噪声以模拟观测数据，生成训练数据。
• 在训练过程中使用均方误差（MSE）作为损失函数，以最小化预测参数与真实参数之间的预测误差。
• 将时间序列的傅里叶变换作为输入特征，以提升对噪声参数的估计性能，尤其是在 ODE 与噪声参数的联合估计中。
• 对时间序列与频谱数据应用数据缩放与归一化（如使用 scikit-learn），以提升训练稳定性与收敛性。
• 通过 R²、RMSE 及预测参数与真实参数之间的相关性等统计指标，评估多种网络架构与数据条件下模型的性能。

实验结果

研究问题

• RQ1 深度神经网络能否在高精度下有效近似由 FitzHugh-Nagumo ODE 控制的反问题的重建映射？
• RQ2 在理想与含噪声数据条件下，不同神经网络架构（密集网络 vs. 卷积网络）在估计 ODE 参数方面的表现如何比较？
• RQ3 CNN 是否能从部分或不完整的时间序列数据中检测到潜在的动力学特性，而密集网络则不能？
• RQ4 训练与测试数据中的噪声对基于神经网络的参数估计器泛化能力与预测性能有何影响？
• RQ5 该框架能否扩展至从观测数据中联合估计 ODE 参数与自相关噪声模型参数？

主要发现

• 卷积神经网络（CNN）在估计 FitzHugh-Nagumo ODE 参数时，预测误差始终低于密集网络，尤其在处理含噪声或部分观测数据时表现更优。
• CNN 展现出更强的从时间序列中提取动力学特征的能力，即使在任意选择的部分观测下也能实现高精度参数估计，而密集网络在类似情况下表现显著更差。
• 当训练数据无噪声但测试数据包含未见过的噪声时，密集网络的泛化能力优于 CNN，表明其在抗噪性与干净数据表现之间存在权衡。
• 仅当同时使用时间序列与傅里叶谱数据作为输入时，才能实现 ODE 与噪声参数的可行且准确的联合估计；若省略谱数据，则性能极差，除非使用极大规模的训练集（N=8000）。
• 当仅使用时间序列数据时，噪声参数的 R² 值为负，证实傅里叶谱对准确恢复噪声参数至关重要。
• 该框架成功实现了在高度非线性、非凸的反问题中进行高精度参数估计，而传统优化技术在此类问题中已失效，证明了深度学习在复杂动力系统推断中的可行性。