[论文解读] Nonlinear Systems Identification Using Deep Dynamic Neural Networks

Olalekan Ogunmolu, Xuejun Gu+2 more|arXiv (Cornell University)|Oct 5, 2016

Neural Networks and Applications参考文献 18被引用 106

一句话总结

本论文研究用于建模非线性动力系统的深度动态神经网络，评估多层、递归、LSTM、GRU 和 Hammerstein 风格架构在 SISO/MIMO 数据集（软体机器人和 DaISy 玻璃炉）上的识别性能与训练效率。

ABSTRACT

Neural networks are known to be effective function approximators. Recently, deep neural networks have proven to be very effective in pattern recognition, classification tasks and human-level control to model highly nonlinear realworld systems. This paper investigates the effectiveness of deep neural networks in the modeling of dynamical systems with complex behavior. Three deep neural network structures are trained on sequential data, and we investigate the effectiveness of these networks in modeling associated characteristics of the underlying dynamical systems. We carry out similar evaluations on select publicly available system identification datasets. We demonstrate that deep neural networks are effective model estimators from input-output data

研究动机与目标

• 以深度网络作为序列数据的通用函数近似器来推动非线性系统识别。
• 评估多种深度架构（MLP、RNN、LSTM、GRU）用于动态系统建模。
• 在来自软体机器人实验和 DaISy 基准数据集的 SISO 与 MIMO 数据集上，评估性能、训练时间和鲁棒性。

提出的方法

• 使用监督学习训练深度网络，使输入到输出的映射最小化均方误差损失。
• 比较前馈型 MLP、简单 RNN、LSTM 变体、Fast LSTM 和 GRU 架构在序列数据上的表现。
• 采用 Hammerstein 风格的模型，将非线性静态块与线性动态块相结合。
• 在递归模型中不使用批量归一化并使用 dropout 以防止过拟合。
• 提供 RNN/LSTM/GRU 更新及 Hammerstein 结构的架构特定方程。
• 报告估计拟合度和 MSE，以及每个模型和数据集的训练时间。

实验结果

研究问题

• RQ1 深度动态神经网络是否能够在 SISO 和 MIMO 数据集上的输入—输出数据中准确识别非线性动态系统？
• RQ2 哪种神经架构（MLP、RNN、LSTM 变体、GRU、Hammerstein）在拟合精度与训练效率之间取得平衡，以用于动态系统识别？
• RQ3 在真实世界数据集（放射治疗中的软体机器人头部运动和玻璃炉温度传感）上，无需预处理的情况下，不同架构的表现如何？
• RQ4 Hammerstein 风格的深度模型是否在捕捉输入到状态的时延和长距离映射方面具有优势？

主要发现

• MLP 与递归架构在 Soft-Robot 与 DaISy 数据集上实现了非常高的估计拟合度，MLP 在所有测试模型中获得最快的训练时间。
• Soft-Robot: MLP 99.8471% 拟合度，训练 422s，MSE 113.1052；RNN 99.8448% 拟合度，1191s，101.3624；LSTM 99.5144% 拟合度，876s，382.6935；FastLSTM 99.4795% 拟合度，881s，374.5386；GRU 99.835% 拟合度，884s，117.0274。
• GlassFurnace (DaIsY): MLP 99.9905% 拟合度，462.64s，0.015433 MSE；RNN 98.8052% 拟合度，726s，0.245833 MSE；LSTM 57.1% 拟合度，4163.18s，3.216 MSE；FastLSTM 91.2822% 拟合度，3310.56s，0.689027 MSE。
• Hammerstein 风格的 RNN/MLP 模型在时间展开 5 步的反向传播下表现良好，相较于纯前馈网络更高效地捕捉系统动力学。
• LSTM 基于 Hammerstein 与 GRU 基于 Hammerstein 变体在处理时间依赖方面提供了强大的建模能力，但存在训练时间的权衡。
• 结果表明深度动态神经网络是有效且可扩展的替代手工设计的非线性系统辨识方法。