[论文解读] Recurrent Stochastic Configuration Networks for Temporal Data Analytics

Dianhui Wang, Gang Dang|arXiv (Cornell University)|Jun 21, 2024

Neural Networks and Applications被引用 4

一句话总结

该论文提出了一种新型随机化循环神经网络——循环随机配置网络（RSCNs），用于时序数据分析，可消除对动态系统阶次先验知识的需求。通过监督机制分配随机权重，并采用特殊的反馈矩阵结构，RSCNs 确保了回声状态特性与通用逼近能力，同时利用基于投影算法的在线输出权重更新，保证了收敛性与鲁棒性。在工业时间序列预测与系统辨识任务中，RSCNs 在学习精度、泛化能力与计算效率方面均优于LSTM、ESN及最先进的ESN变体。

ABSTRACT

Temporal data modelling techniques with neural networks are useful in many domain applications, including time-series forecasting and control engineering. This paper aims at developing a recurrent version of stochastic configuration networks (RSCNs) for problem solving, where we have no underlying assumption on the dynamic orders of the input variables. Given a collection of historical data, we first build an initial RSCN model in the light of a supervisory mechanism, followed by an online update of the output weights by using a projection algorithm. Some theoretical results are established, including the echo state property, the universal approximation property of RSCNs for both the offline and online learnings, and the convergence of the output weights. The proposed RSCN model is remarkably distinguished from the well-known echo state networks (ESNs) in terms of the way of assigning the input random weight matrix and a special structure of the random feedback matrix. A comprehensive comparison study among the long short-term memory (LSTM) network, the original ESN, and several state-of-the-art ESN methods such as the simple cycle reservoir (SCR), the polynomial ESN (PESN), the leaky-integrator ESN (LIESN) and RSCN is carried out. Numerical results clearly indicate that the proposed RSCN performs favourably over all of the datasets.

研究动机与目标

• 解决在工业过程中建模具有未知或不确定动态阶次的非线性系统所面临的挑战。
• 消除对显式输入变量阶次识别的需求，该过程耗时且不适用于实时应用。
• 开发一种保持回声状态特性的循环神经网络框架，同时改进参数初始化与结构设计。
• 在离线与在线学习设置下，确保输出权重的通用逼近能力与收敛性。
• 在保持紧凑储水库拓扑结构的前提下，实现高泛化能力与学习性能，以支持高效的实际部署。

提出的方法

• RSCN 模型通过一种循环随机配置（RSC）算法进行初始化，该算法利用监督机制分配输入与反馈权重，以确保系统稳定性和表达能力。
• 对随机反馈矩阵施加一种特殊结构，以增强网络捕捉时序动态的能力，并支持回声状态特性。
• 采用基于投影的算法在线更新输出权重，确保收敛性并适应动态系统的变化。
• 模型结合离线训练与在线自适应，使两种学习模式均具备通用逼近能力。
• 理论分析证明了在所提框架下，回声状态特性、通用逼近能力以及输出权重收敛性均成立。
• 通过数据相关的监督机制自适应确定储水库大小，减少了对人工调参的依赖。

实验结果

研究问题

• RQ1 能否设计一种循环神经网络，在无需显式输入变量选择的前提下，对具有未知动态阶次的非线性系统进行建模？
• RQ2 所提出的RSCN框架是否在保持回声状态特性的前提下，相较于标准ESN提升了泛化能力与收敛性？
• RQ3 通过投影算法实现的在线输出权重更新，是否能在动态环境中确保稳定且收敛的学习过程？
• RQ4 在精度、泛化能力与计算效率方面，RSCN相较于LSTM与最先进的ESN变体表现如何？
• RQ5 储水库大小与结构对RSCN在真实工业应用中的性能与鲁棒性有何影响？

主要发现

• 在两个工业案例中，RSCN 在所有模型中均取得了最低的测试NRMSE，分别为0.51078±0.03685（案例2）与0.06793±0.00411（案例1），优于LSTM、ESN、SCR、PESN与LIESN。
• RSCN 所用储水库规模显著更小——案例2为65个节点，案例1为87个节点，远低于ESN的103与213个节点，表明其具有更高的计算效率。
• 通过投影算法实现的输出权重更新过程表现出明显的收敛性，误差随时间持续下降，确保了在实时应用中的模型稳定性。
• RSCN 的最优储水库大小为案例1中60个节点，案例2中70个节点，且在所有大小下测试NRMSE均持续低于其他模型。
• 图12与图13中的预测曲线显示，RSCN 能够紧密跟踪期望输出，其跟踪精度优于LSTM与所有ESN变体。
• RSCN 框架在保持紧凑架构的同时，实现了卓越的泛化与学习性能，验证了其在工业时序数据分析中的有效性。