[论文解读] Nonlinear state-space identification using deep encoder networks

Gerben I. Beintema, Roland Tóth+1 more|arXiv (Cornell University)|Dec 14, 2020

Model Reduction and Neural Networks参考文献 30被引用 4

一句话总结

本文提出一种深度编码器网络，通过将数据分割为多个部分以实现随机梯度优化，从而提升非线性状态空间系统辨识的性能，降低计算成本并平滑非凸损失曲面。该编码器利用历史输入和输出数据估计每个部分的初始状态，实现高效、可扩展的训练，并在 Wiener–Hammerstein 基准测试中达到目前已知最低的仿真误差。

ABSTRACT

Nonlinear state-space identification for dynamical systems is most often performed by minimizing the simulation error to reduce the effect of model errors. This optimization problem becomes computationally expensive for large datasets. Moreover, the problem is also strongly non-convex, often leading to sub-optimal parameter estimates. This paper introduces a method that approximates the simulation loss by splitting the data set into multiple independent sections similar to the multiple shooting method. This splitting operation allows for the use of stochastic gradient optimization methods which scale well with data set size and has a smoothing effect on the non-convex cost function. The main contribution of this paper is the introduction of an encoder function to estimate the initial state at the start of each section. The encoder function estimates the initial states using a feed-forward neural network starting from historical input and output samples. The efficiency and performance of the proposed state-space encoder method is illustrated on two well-known benchmarks where, for instance, the method achieves the lowest known simulation error on the Wiener--Hammerstein benchmark.

研究动机与目标

• 解决非线性状态空间系统辨识中仿真误差最小化带来的高计算成本与非凸性问题。
• 克服传统方法在大规模数据集上扩展性差且易陷入局部极小值的局限性。
• 通过结合多 shooting 方法与深度学习，构建一种可扩展且稳定的优化框架。
• 在不增加模型复杂度的前提下，提供一种跨数据段的通用初始状态估计方法。
• 在标准非线性系统辨识基准测试中实现最先进性能。

提出的方法

• 将完整时间序列分割为 N 个独立部分，以支持随机梯度优化。
• 使用前馈神经网络（编码器）从历史输入和输出数据中估计每个部分起始时刻的初始状态。
• 在每个部分上构建多步预测损失，支持模型与编码器的端到端训练。
• 通过随机梯度下降联合训练状态空间模型与编码器，降低每次迭代的计算成本。
• 应用多 shooting 方法以平滑损失函数，提升收敛稳定性。
• 利用编码器实现对未见数据的泛化，通过无需重新优化即可实现精确的状态初始化。

实验结果

研究问题

• RQ1 深度编码器网络能否有效估计非线性状态空间模型中的初始状态，从而提升优化效率？
• RQ2 通过将数据分割为部分并使用随机梯度下降，是否能显著降低计算成本，同时保持精度？
• RQ3 与现有方法相比，该方法在仿真误差与收敛稳定性方面表现如何？
• RQ4 编码器能否通过实现精确的状态初始化，实现对未见数据的泛化？
• RQ5 该方法在标准非线性系统辨识基准测试（如 Wiener–Hammerstein 与 Silverbox）中的表现如何？

主要发现

• 所提方法在 Wiener–Hammerstein 基准测试中达到目前已知最低的仿真误差，优于以往的深度学习与系统辨识方法。
• 通过在分段数据上实现随机梯度优化，该方法显著降低了计算成本。
• 基于编码器的初始状态估计方法不会随部分数量增加而提升模型复杂度。
• 结合学习型编码器的多 shooting 方法使损失曲面更加平滑，从而提升优化稳定性。
• 该方法在 Silverbox 基准测试中表现出色，超越了此前提出的深度学习方法。
• 编码器通过从输入-输出历史中准确预测初始状态，实现了对未见数据集的泛化能力。