[论文解读] Reservoir Computing meets Recurrent Kernels and Structured Transforms

Jonathan Dong, Ruben Ohana+2 more|arXiv (Cornell University)|Jun 12, 2020

Neural Networks and Reservoir Computing参考文献 59被引用 10

一句话总结

本文在标准假设下建立了残差计算（RC）向循环核（RK）极限的理论收敛性，证明了在神经元数N下收敛速率为O(1/√N)。本文提出结构化残差计算（SRC），利用快速结构化变换（如哈达玛变换）加速RC，实现O(N log N)复杂度，支持大规模、内存高效的训练，且在混沌时间序列预测任务中性能与RK相当。

ABSTRACT

Reservoir Computing is a class of simple yet efficient Recurrent Neural Networks where internal weights are fixed at random and only a linear output layer is trained. In the large size limit, such random neural networks have a deep connection with kernel methods. Our contributions are threefold: a) We rigorously establish the recurrent kernel limit of Reservoir Computing and prove its convergence. b) We test our models on chaotic time series prediction, a classic but challenging benchmark in Reservoir Computing, and show how the Recurrent Kernel is competitive and computationally efficient when the number of data points remains moderate. c) When the number of samples is too large, we leverage the success of structured Random Features for kernel approximation by introducing Structured Reservoir Computing. The two proposed methods, Recurrent Kernel and Structured Reservoir Computing, turn out to be much faster and more memory-efficient than conventional Reservoir Computing.

研究动机与目标

• 严格建立残差计算向循环核极限的理论收敛性，证明在N个神经元下收敛速率为O(1/√N)。
• 证明循环核在混沌时间序列预测任务中表现具有竞争力，同时对中等规模数据具有计算高效性。
• 针对传统RC在数据规模增大时计算与内存成本过高的问题，提出使用快速结构化变换的结构化残差计算。
• 证明SRC在显著降低前向传播时间与内存使用的同时保持性能，支持超大规模残差网络。
• 通过利用结构化随机特征，弥合核方法与RC之间的差距，实现可扩展、高效的RC实现。

提出的方法

• 在标准假设下推导RC的循环核极限，通过理论分析证明其收敛至确定性核。
• 通过核矩阵上的逐元素运算高效计算循环迭代，实现在循环核框架下的快速前向传播。
• 用结构化变换（如哈达玛、傅里叶变换）结合随机对角矩阵，替代RC中的稠密随机权重矩阵，实现O(N log N)复杂度。
• 采用两步流程：(1) 利用结构化变换进行残差状态计算的前向传播，(2) 对输出层采用线性回归进行训练。
• 为时间序列预测实现自主动力学，通过迭代重复前向传播实现长程预测。
• 基于GPU基准测试，比较RC、RK与SRC在混沌时间序列（Kuramoto-Sivashinsky）任务中的计算复杂度与内存使用。

实验结果

研究问题

• RQ1 残差计算在N趋于无穷时是否收敛至循环核？收敛速率如何？
• RQ2 循环核在混沌时间序列预测任务中的性能与传统RC相比如何？
• RQ3 能否使用结构化变换加速残差计算，同时保持预测性能？
• RQ4 与标准RC相比，循环核与结构化残差计算的计算与内存复杂度如何？
• RQ5 结构化残差计算能否在不牺牲准确率或增加内存占用的前提下，扩展至极大规模残差网络？

主要发现

• 本文证明残差计算在N趋于无穷时收敛至循环核，收敛速率为O(1/√N)，并在多种激活函数下通过数值实验验证。
• 循环核在混沌时间序列（Kuramoto-Sivashinsky）上实现具有竞争力的预测精度，对中等规模数据计算高效，当N=1,948时前向传播时间低至0.7秒。
• 结构化残差计算使前向传播时间在残差规模达10^5时趋于恒定，当N=32,668时仅需3.6秒，而标准RC在大规模下出现内存错误。
• SRC显著优于标准RC的内存效率，即使在大规模残差网络下也避免GPU内存溢出，且在速度与可扩展性上表现更优。
• 当训练集规模较大（n > 10k）时，循环核的预测仍较慢，暴露出核矩阵运算的瓶颈，而SRC保持快速前向传播。
• 在高维状态下，RC、RK与SRC三者收敛至相似性能水平，证实SRC在大规模下能有效逼近RK极限。