[论文解读] Reservoir computing with simple oscillators: Virtual and real networks

André Röhm, Kathy Lüdge|arXiv (Cornell University)|Feb 23, 2018

Neural Networks and Reservoir Computing参考文献 44被引用 10

一句话总结

本文提出了一种混合蓄水模型计算框架，将真实振子网络与时分复用延迟线相结合，以实现高性能计算。通过系统性地改变真实节点数量和通过掩码实现的虚拟维度，研究表明复用网络的性能可与纯延迟线蓄水模型相当或更优，从而实现更快的计算速度并降低对参数变化的敏感性。

ABSTRACT

The reservoir computing scheme is a machine learning mechanism which utilizes the naturally occuring computational capabilities of dynamical systems. One important subset of systems that has proven powerful both in experiments and theory are delay-systems. In this work, we investigate the reservoir computing performance of hybrid network-delay systems systematically by evaluating the NARMA10 and the Sante Fe task.. We construct 'multiplexed networks' that can be seen as intermediate steps on the scale from classical networks to the 'virtual networks' of delay systems. We find that the delay approach can be extended to the network case without loss of computational power, enabling the construction of faster reservoir computing substrates.

研究动机与目标

• 探究结合真实振子与时分复用延迟线的混合网络是否能够实现或超越基于长延迟线的纯虚拟蓄水模型的性能。
• 理解网络拓扑结构以及真实节点数量对蓄水模型计算性能的影响。
• 评估混合蓄水架构中计算速度、参数敏感性与性能之间的权衡关系。
• 使用标准基准任务，对真实网络、虚拟网络与复用混合系统进行系统性、定量比较。

提出的方法

• 通过将真实振子与时分复用延迟线结合构建复用网络，同时保持总读出维度恒定。
• 采用时分复用（掩码）技术在蓄水模型中模拟虚拟节点，有效提升相空间维度。
• 使用具有延迟耦合的耦合非线性振子模型描述蓄水模型动力学，其行为由一组延迟微分方程控制。
• 将NARMA10和Santa Fe任务作为基准蓄水模型计算问题，以评估性能表现。
• 在耦合强度与反馈延迟参数空间中执行二维扫描，以评估不同网络配置下的性能表现。
• 采用NRMSE（归一化均方根误差）作为主要指标，量化并比较计算精度。

实验结果

研究问题

• RQ1 结合真实振子与时分复用延迟的混合蓄水架构能否实现与基于长延迟线的纯虚拟蓄水模型相当的性能？
• RQ2 网络中真实节点的数量如何影响蓄水计算机的计算性能与参数敏感性？
• RQ3 真实网络的拓扑结构（单向环形、带自反馈的双向环形）是否会影响混合蓄水系统的性能？
• RQ4 混合蓄水系统中是否存在计算速度与性能之间的权衡，且该权衡是否可被优化？
• RQ5 大规模真实网络中多稳态的存在，相较于小规模或复用系统，如何影响蓄水模型的性能？

主要发现

• 由大型全真实网络（例如256个真实节点）构成的蓄水计算机在NARMA10和Santa Fe任务上均表现欠佳，NRMSE值始终高于0.4。
• 真实节点数量较少（例如1–16个）且虚拟化程度较高的复用网络可实现最先进性能，与纯延迟线蓄水模型相当或更优。
• 在真实节点数量适中且时间复用程度较高的系统中可实现最优性能，表明复杂性与计算能力之间存在平衡。
• 与大型真实网络相比，混合系统表现出更低的参数敏感性与更高的计算速度，因而更具鲁棒性，也更适用于实验实现。
• 带自反馈的双向环形拓扑在低虚拟化程度（高真实节点数量）时表现出最显著的性能下降，可能归因于多稳态的增加。
• 非相同延迟线或掩码可能进一步提升性能，尽管由于计算成本过高而未在模拟中实现，提示未来研究的有前景方向。