[论文解读] Simple Cycle Reservoirs are Universal

Boyu Li, Robert Simon Fong+1 more|arXiv (Cornell University)|Aug 21, 2023

Neural Networks and Reservoir Computing被引用 4

一句话总结

该论文证明了简单循环储层（SCRs）——一种具有均匀循环权重和二值输入到储层连接的强约束储层架构——在均匀有界输入下，可对任意时不变衰减记忆滤波器实现通用逼近。在复数域中，单个SCR或由实部/虚部分量组成的双SCR可以以任意精度逼近任意具有连续读出的线性储层系统，从而实现硬件高效的通用计算。

ABSTRACT

Reservoir computation models form a subclass of recurrent neural networks with fixed non-trainable input and dynamic coupling weights. Only the static readout from the state space (reservoir) is trainable, thus avoiding the known problems with propagation of gradient information backwards through time. Reservoir models have been successfully applied in a variety of tasks and were shown to be universal approximators of time-invariant fading memory dynamic filters under various settings. Simple cycle reservoirs (SCR) have been suggested as severely restricted reservoir architecture, with equal weight ring connectivity of the reservoir units and input-to-reservoir weights of binary nature with the same absolute value. Such architectures are well suited for hardware implementations without performance degradation in many practical tasks. In this contribution, we rigorously study the expressive power of SCR in the complex domain and show that they are capable of universal approximation of any unrestricted linear reservoir system (with continuous readout) and hence any time-invariant fading memory filter over uniformly bounded input streams.

研究动机与目标

• 建立严重受限储层架构（特别是简单循环储层，SCRs）在储层计算背景下的通用逼近能力。
• 研究SCRs（具有等权重环形连接和二值输入权重）是否可逼近任意具有连续读出的线性储层系统。
• 证明此类架构足以对均匀有界输入流上的时不变衰减记忆滤波器实现通用逼近。
• 弥合SCRs在实际任务中取得的实证成功与其理论表达能力之间的差距，尤其是在复数设置下。
• 通过证明最小设计复杂度（均匀权重、二值耦合）仍能实现通用逼近，支持硬件实现的可行性。

提出的方法

• 将线性储层系统形式化为三元组 (W, V, h)，其中 W 为储层权重矩阵，V 为输入到储层的耦合矩阵，h 为连续读出函数。
• 引入复数域SCR（C-SCR），其使用由 λ 缩放的循环置换矩阵 P₁，且输入权重限制为 {±1, ±i}，以支持复数动力学。
• 构建一种双SCR架构，包含两个并行实值循环，权重为 {−1, 1}，并采用结合实部与虚部分量的复数读出。
• 利用 Grigoryeva 等人（2018）的通用逼近结果：任意时不变衰减记忆滤波器可由具有多项式读出的线性储层系统逼近。
• 证明任何此类系统均可通过 C-SCR 或双 SCR 以 ε-精度逼近，且通过输入域的线性变换保持多项式读出的次数。
• 利用数论条件（gcd(k, n′_U) = 1）确保循环结构生成满秩状态转移，实现状态空间的稠密覆盖。

实验结果

研究问题

• RQ1 具有均匀循环权重和二值输入耦合的简单循环储层（SCRs）是否可对任意时不变衰减记忆滤波器实现通用逼近？
• RQ2 实现储层计算中通用逼近所需的最小架构复杂度是什么？
• RQ3 在SCRs中使用复数权重和输入是否能提升其相对于实数对应物的表达能力？
• RQ4 单个C-SCR或双SCR架构是否可实现对具有连续读出的线性储层系统的通用逼近？
• RQ5 周期长度和储层规模的数论条件如何影响SCRs的逼近能力？

主要发现

• 具有复数循环权重和二值输入到储层耦合（±1, ±i）的简单循环储层（SCRs）可在均匀有界输入下，对任意时不变衰减记忆滤波器实现通用逼近。
• 只要周期长度和储层大小满足 gcd(k, n′_U) = 1，单个C-SCR即可以任意精度 ε > 0 逼近任意具有连续读出的线性储层系统。
• 采用两个并行实周期、{−1, 1}权重和结合实部与虚部分量的复数读出的双SCR架构，同样可实现通用逼近。
• 逼近过程保持了多项式读出函数的次数，确保原始系统的表达能力在SCR表示中得以保留。
• 研究结果将储层计算的通用性扩展至自由度极小的架构，支持其在硬件实现中应用并保证性能。
• 理论框架证实，即使在严重受限的储层（如固定环形连接和二值权重）下，仍可实现通用逼近，验证了其在实践中表现出色的实证观察。