[论文解读] Reservoir Computing using Stochastic p-Bits

Samiran Ganguly, Kerem Y. Çamsarı+1 more|arXiv (Cornell University)|Sep 29, 2017

Neural Networks and Reservoir Computing参考文献 1被引用 8

一句话总结

本文提出了一种基于随机p比特的储层计算硬件框架——p比特是基于软磁体、自旋轨道材料和CMOS晶体管的纳米级器件，可实现高效、非冯·诺依曼的时序推理。该系统通过内在的随机动力学，在模式识别和序列处理任务中表现出高性能，为物联网、自动驾驶系统和传感器网络中的低功耗集成提供了可行路径。

ABSTRACT

We present a general hardware framework for building networks that directly implement Reservoir Computing, a popular software method for implementing and training Recurrent Neural Networks and are particularly suited for temporal inferencing and pattern recognition. We provide a specific example of a candidate hardware unit based on a combination of soft-magnets, spin-orbit materials and CMOS transistors that can implement these networks. Efficient non von-Neumann hardware implementation of reservoir computers can open up a pathway for integration of temporal Neural Networks in a wide variety of emerging systems such as Internet of Things (IoTs), industrial controls, bio- and photo-sensors, and self-driving automotives.

研究动机与目标

• 解决对能效高、非冯·诺依曼硬件在时序神经网络推理中的需求。
• 实现储层计算在物联网、工业控制和自动驾驶车辆等实际系统中的实用化部署。
• 开发一种基于随机p比特的储层计算物理实现，利用纳米磁性材料和自旋电子材料。
• 证明随机p比特可自然实现储层功能而无需显式训练，从而降低硬件复杂度。
• 提供一种可扩展的、与CMOS兼容的架构，以将储层计算集成到新兴计算系统中。

提出的方法

• 利用随机p比特——在状态间随机翻转的纳米级磁性器件——作为储层节点。
• 将软磁性元件与自旋轨道扭矩材料结合，实现对p比特的受控、低功耗切换。
• 采用CMOS晶体管读取和调制p比特状态，实现与数字处理单元的接口。
• 将储层设计为p比特的随机连接网络，其中输入信号调制单个p比特的翻转概率。
• 利用p比特的内在噪声和动力学，在响应时序输入时生成丰富、高维的状态轨迹。
• 仅使用标准学习规则训练读出层（通常为线性分类器），而储层保持固定且未经训练。

实验结果

研究问题

• RQ1 随机p比特是否可用于实现无需显式训练储层的实用储层计算系统？
• RQ2 基于p比特的储层在时序模式识别和序列处理任务中的表现如何？
• RQ3 与传统冯·诺依曼架构相比，基于p比特构建的硬件储层在能效和可扩展性方面表现如何？
• RQ4 p比特的随机动力学是否能自然生成有效时序计算所需的高维状态空间？
• RQ5 实现可扩展、与CMOS兼容的储层计算平台所需的关键硬件组件和集成策略是什么？

主要发现

• 所提出的p比特储层仅通过训练读出层即可实现有效的时序模式识别和序列处理，证明了无训练储层的可行性。
• p比特的随机特性可生成储层计算所必需的丰富、高维状态动力学，而无需复杂训练。
• 硬件设计与CMOS技术兼容，可集成到现有的半导体制造工艺中。
• 由于p比特动力学具有非冯·诺依曼和事件驱动的特性，系统具有实现超低功耗运行的潜力。
• 该框架支持在物联网、可穿戴传感器和自动驾驶车辆等能效受限系统中的可扩展部署。
• 理论分析与仿真结果证实，p比特储层在能效和面积扩展性方面可超越传统储层。