[论文解读] Reservoir Computing Hardware with Cellular Automata

Alejandro Morán, Christiam F. Frasser+1 more|arXiv (Cornell University)|Jun 13, 2018

Neural Networks and Reservoir Computing参考文献 25被引用 7

一句话总结

本文提出一种基于元胞自动机（ECA）规则的硬件高效残差计算（RC）系统，选用规则90以实现准确率与简洁性的最佳平衡。该方法利用异或（XOR）数字电路与移位寄存器，在FPGA上实现低功耗、高速的RC分类器，于MNIST数据集上实现98.08%的准确率，延迟仅0.02ms，功耗为0.289W，其速度与能效优于以往基于CNN的FPGA实现方案。

ABSTRACT

Elementary cellular automata (ECA) is a widely studied one-dimensional processing methodology where the successive iteration of the automaton may lead to the recreation of a rich pattern dynamic. Recently, cellular automata have been proposed as a feasible way to implement Reservoir Computing (RC) systems in which the automata rule is fixed and the training is performed using a linear regression. In this work we perform an exhaustive study of the performance of the different ECA rules when applied to pattern recognition of time-independent input signals using a RC scheme. Once the different ECA rules have been tested, the most accurate one (rule 90) is selected to implement a digital circuit. Rule 90 is easily reproduced using a reduced set of XOR gates and shift-registers, thus representing a high-performance alternative for RC hardware implementation in terms of processing time, circuit area, power dissipation and system accuracy. The model (both in software and its hardware implementation) has been tested using a pattern recognition task of handwritten numbers (the MNIST database) for which we obtained competitive results in terms of accuracy, speed and power dissipation. The proposed model can be considered to be a low-cost method to implement fast pattern recognition digital circuits.

研究动机与目标

• 评估所有256种ECA规则在残差计算（RC）框架中用于模式识别的性能。
• 识别最适合数字电路实现的最准确且硬件效率最高的ECA规则。
• 基于FPGA设计并实现一种低功耗、高速的RC硬件系统，采用规则90实现实时图像分类。
• 在准确率、延迟、功耗和资源使用方面，将所提出的ReCA系统与现有基于CNN的FPGA实现进行比较。

提出的方法

• RC框架采用固定的ECA规则（90）作为储水库，输入信号初始化自动机状态，输出层权重通过线性回归训练。
• 规则90通过异或门与移位寄存器实现，支持最小化、高速的数字电路，且边界条件固定。
• 系统通过独立对行与列应用规则90处理MNIST图像，生成时空储水库状态。
• 最大池化层将2×2像素块缩减为最大值，该值在迭代过程中加权累积，形成最终输出。
• 输出层采用Softmax回归进行分类，基于储水库状态通过线性回归训练。
• 整个系统在Altera Cyclone V FPGA上综合，采用8位定点精度，优化了低功耗与高吞吐量。

实验结果

研究问题

• RQ1 在静态图像输入的残差计算设置中，哪种ECA规则能实现最高的分类准确率？
• RQ2 基于ECA的RC在FPGA实现中的硬件复杂度与性能，与传统CNN相比如何？
• RQ3 规则90能否在数字逻辑中高效实现，以支持低功耗、高速的模式识别？
• RQ4 在所提出的ReCA系统中，迭代次数与分类准确率之间的权衡关系如何？
• RQ5 在准确率、延迟与能效方面，所提出的ReCA系统与最先进的CNN硬件实现相比表现如何？

主要发现

• 在MNIST数字识别的RC框架中，规则90在所有测试的ECA规则中实现了最高的分类准确率（98.08%）。
• ReCA系统在FPGA上的延迟仅为0.020ms，显著快于许多先前基于CNN的实现。
• 系统功耗仅为0.289W，相较于其他基于FPGA的分类器，能效有显著提升。
• 实现仅使用了22.6K ALMs（占FPGA资源的20.5%）和40个DSP模块，展现出极高的资源效率。
• 所提出的ReCA系统在功耗延迟积（0.00578 mJ）方面优于多个先前基于CNN的FPGA实现，表明其具有更优的能效。
• 采用规则90使得每个单元仅需一个异或门，实现极简的数字电路，简化了硬件设计，降低了面积与功耗。