[论文解读] Scenario optimization for optimal training of Echo State Networks

Luca Bugliari Armenio, Lorenzo Fagiano+3 more|arXiv (Cornell University)|Dec 3, 2019

Neural Networks and Reservoir Computing参考文献 20被引用 4

一句话总结

本文提出了一种基于场景优化的回声状态网络（ESN）训练方法，用系统化、具有最优性保证的方法替代了传统的随机参数选择。通过将ESN训练建模为有限样本优化问题，该方法确保了RMSE和FIT等性能指标的概率边界，并在pH中和过程中通过500个新场景的实证验证，显示违反理论边界的概率低于5%。

ABSTRACT

Echo State Networks (ESNs) are widely-used Recurrent Neural Networks. They are dynamical systems including, in state-space form, a nonlinear state equation and a linear output transformation. The common procedure to train ESNs is to randomly select the parameters of the state equation, and then to estimate those of the output equation via a standard least squares problem. Such a procedure is repeated for different instances of the random parameters characterizing the state equation, until satisfactory results are achieved. However, this trial-and-error procedure is not systematic and does not provide any guarantee about the optimality of the identification results. To solve this problem, we propose to complement the identification procedure of ESNs by applying results in scenario optimization. The resulting training procedure is theoretically sound and allows one to link precisely the number of identification instances to a guaranteed optimality bound on relevant performance indexes, such as the Root Mean Square error and the FIT index of the estimated model evaluated over a validation data-set. The proposed procedure is finally applied to the simulated model of a pH neutralization process: the obtained results confirm the validity of the approach.

研究动机与目标

• 为解决标准回声状态网络（ESN）训练中缺乏最优性保证的问题，该方法依赖于状态方程参数的随机初始化。
• 开发一种系统化、理论严谨的训练程序，利用场景优化理论确保ESN的性能边界。
• 建立训练实例数量与关键性能指标（如RMSE和FIT）的精确概率保证之间的关系。
• 通过一个真实世界的单输入单输出（SISO）非线性基准测试——pH中和过程，对理论最优性边界进行实证验证。

提出的方法

• 将ESN训练问题表述为在可能的随机状态方程参数化无限集合上的标量优化问题。
• 应用场景优化理论，通过Nδ个采样ESN实例，将无限维问题转化为有限维凸优化问题。
• 基于验证数据从Nδ个实例中选择表现最佳的ESN，其性能优于新ESN的概率具有保证的上界。
• 对每个采样ESN使用最小二乘法估计输出层权重，确保计算效率。
• 基于采样实例数Nδ，推导RMSE和FIT性能指标的违反概率ε的理论边界。
• 通过测试500个新ESN实例并统计违反推导出的性能阈值的次数，验证理论边界。

实验结果

研究问题

• RQ1 场景优化能否有效应用于ESN训练，以替代启发式的随机参数选择，转而采用理论保证的方法？
• RQ2 采样ESN实例数（Nδ）与RMSE和FIT性能指标的相应概率边界之间存在何种关系？
• RQ3 在测试新ESN实例时，理论违反边界（ε）与实际性能的匹配程度如何保守？
• RQ4 所提出的方法能否在真实世界的非线性动态系统（如pH中和过程）上实现可靠的性能保证？

主要发现

• 所提出的基于场景优化的ESN训练方法实现了性能的理论保证，新ESN优于所选ESN的概率被限制在ε=5%以内。
• 对500个新ESN实例的实证测试显示，FIT指标的违反率仅为0.6%，RMSE指标为0.8%，远低于理论5%的边界。
• 对于具有200个状态的ESN，最佳FIT值为89.15%，最差RMSE为0.048，理论边界成功捕捉了性能极限。
• 该方法通过保留最小二乘法估计输出权重，同时增加了严格的最优性保证，保持了计算效率。
• 该方法在著名的SISO非线性基准（pH中和过程）上成功验证，确认了所推导性能边界的可靠性。
• 结果表明，所需训练实例数（Nδ=645）足以实现紧密且可靠的性能保证，且实证违反率极低。