[论文解读] Short note on the behavior of recurrent neural network for noisy dynamical system

Kyongmin Yeo|arXiv (Cornell University)|Apr 5, 2019

Model Reduction and Neural Networks参考文献 9被引用 13

一句话总结

本研究探讨长短期记忆（LSTM）网络如何学习建模噪声动力系统，特别是Mackey-Glass时间序列。结果表明，随着训练噪声增加，LSTM从依赖输入数据逐渐转向更多依赖其内部自主动力学，从而对输入扰动更具鲁棒性，但适应速度变慢，松弛 timescale 更长。

ABSTRACT

The behavior of recurrent neural network for the data-driven simulation of noisy dynamical systems is studied by training a set of Long Short-Term Memory Networks (LSTM) on the Mackey-Glass time series with a wide range of noise level. It is found that, as the training noise becomes larger, LSTM learns to depend more on its autonomous dynamics than the noisy input data. As a result, LSTM trained on noisy data becomes less susceptible to the perturbation in the data, but has a longer relaxation timescale. On the other hand, when trained on noiseless data, LSTM becomes extremely sensitive to a small perturbation, but is able to adjusts to the changes in the input data.

研究动机与目标

• 理解循环神经网络（RNNs）在动力系统中处理噪声时间序列数据的方式。
• 研究对输入扰动的鲁棒性与对输入数据变化的响应速度之间的权衡。
• 分析在不同噪声水平下，LSTM中输入数据与内部状态动力学的贡献变化。
• 量化LSTM在扰动后预测的松弛 timescale，以评估动态稳定性。
• 为噪声注入训练如何提升深度学习中模型鲁棒性的现象提供实证洞察。

提出的方法

• 在Mackey-Glass时间序列上训练独立的LSTM网络，共设置七个噪声水平（σ ∈ {0, 0.02, 0.04, 0.08, 0.16, 0.32, 0.64}）。
• 采用标准LSTM架构，包含128个记忆单元，并使用ADAM优化算法最小化序列预测的均方误差。
• 将输入数据归一化至[−0.5, 0.5]，并在评估时将输出缩放回原始单位。
• 通过加权输入的ℓ₁-范数测量输入数据（yₜ）和隐藏状态（hₜ）对LSTM输入的相对贡献。
• 定义并计算松弛 timescale λ，即脉冲输入后归一化误差衰减的积分。
• 使用不同噪声水平和扰动条件下的归一化均方根误差（NRMSE）评估模型性能。

实验结果

研究问题

• RQ1 随着训练数据中噪声水平的提高，LSTM对输入观测的依赖程度与对内部动力学的依赖程度如何变化？
• RQ2 训练噪声水平与LSTM对输入扰动的鲁棒性之间存在何种关系？
• RQ3 随着训练噪声水平的增加，LSTM预测的松弛 timescale 如何变化？
• RQ4 为何在无噪声数据上训练的LSTM对微小输入扰动表现出高度敏感性？
• RQ5 在训练中注入噪声在多大程度上能提升时间序列建模中的泛化能力与鲁棒性？

主要发现

• 随着训练噪声水平的提高，LSTM减少对噪声输入数据的依赖，转而更多依赖其内部自主动力学。
• 在σ = 0.64下训练的LSTM在脉冲扰动后初始偏差（e₀）减少了2.8倍，相比σ = 0的模型，表明鲁棒性显著提升。
• 松弛 timescale λ 随训练噪声增加而增长：σ = 0.64时λ ≈ 25–30 δt，而σ = 0.02时λ ≈ 20 δt，表明从扰动中恢复更慢。
• σ = 0.64模型的NRMSE仅从σ = 0时的0.050上升至0.141，表明在噪声数据上性能退化极小。
• 相比之下，σ = 0模型的NRMSE为0.268，在σ = 0.02噪声下显著恶化至0.658，表现出极高敏感性。
• 在噪声数据上训练的模型（σ = 0.64）在低至高噪声水平下均保持稳定性能，而无噪声模型在噪声输入下则完全失效。