[论文解读] Physical reservoir computing built by spintronic devices for temporal information processing

Wencong Jiang, Lina Chen+5 more|arXiv (Cornell University)|Jan 23, 2019

Advanced Memory and Neural Computing参考文献 36被引用 15

一句话总结

本文提出基于自旋电子学器件的物理储层计算（RC）系统——具体为单个磁性Skyrmion忆阻器（MSM）和24个自旋转移力矩纳米振荡器（STNOs）——以实现超高速、高精度的时序信息处理。基于MSM的RC在手写数字识别任务中达到87.6%的准确率，其数据处理速度比基于离子的忆阻器系统快1000倍以上；而基于STNO的RC成功解决了NARMA10等复杂非线性任务，误差极低（NRMSE ≈ 0.123），证明了自旋电子学器件在类脑神经形态计算中的可行性。

ABSTRACT

Spintronic nanodevices have ultrafast nonlinear dynamic and recurrence behaviors on a nanosecond scale that promises to enable spintronic reservoir computing (RC) system. Here two physical RC systems based on a single magnetic skyrmion memristor (MSM) and 24 spin-torque nano-oscillators (STNOs) were proposed and modeled to process image classification task and nonlinear dynamic system prediction, respectively. Based on our micromagnetic simulation results on the nonlinear responses of MSM and STNO with current pulses stimulation, the handwritten digits recognition task domesticates that an RC system using one single MSM has the outstanding performance on image classification. In addition, the complex unknown nonlinear dynamic problems can also be well solved by a physical RC system consisted of 24 STNOs confirmed in a second-order nonlinear dynamic system and NARMA10 tasks. The capability of both high accuracy and fast information processing promises to enable one type of brain-like chip based on spintronics for various artificial intelligence tasks.

研究动机与目标

• 开发基于具有内在非线性动力学和短期记忆特性的自旋电子学纳米器件的物理储层计算系统，以实现高效的神经形态计算。
• 证明磁性Skyrmion忆阻器（MSM）和自旋转移力矩纳米振荡器（STNOs）等自旋电子学器件可在无需训练内部权重的情况下充当物理储层。
• 在基准时序处理任务（包括图像分类和非线性动态系统预测）上评估这些物理RC系统的性能。
• 建立利用微磁仿真建模和验证自旋电子学器件储层动力学以支持人工智能工作负载的可行性。
• 从准确率、处理速度和能效三个方面，对比自旋电子学RC系统与先前的人工储层系统的表现。

提出的方法

• 采用基于Landau-Lifshitz-Gilbert（LLG）方程的微磁仿真，模拟电流脉冲激励下磁性Skyrmion忆阻器（MSM）的非线性动力学行为。
• 模拟24个STNOs对电流脉冲的响应，捕捉其磁矩进动和磁阻（MR）输出，用于储层计算。
• 采用固定且随机连接的储层结构，仅训练输出层，遵循标准RC原理：仅通过线性回归学习输出权重。
• 将储层输出应用于解决基准任务：MNIST手写数字分类、二阶非线性动态系统预测以及NARMA10时间序列预测。
• 使用归一化均方误差（NMSE）评估动态任务性能，使用分类准确率评估图像识别性能。
• 通过在800步时间序列数据上训练后测试未见过的输入序列，验证系统的泛化能力。

实验结果

研究问题

• RQ1 单个磁性Skyrmion忆阻器（MSM）能否作为图像分类任务的有效物理储层？
• RQ2 由24个自旋转移力矩纳米振荡器（STNOs）组成的集合能否解决如二阶系统和NARMA10等复杂非线性动态问题？
• RQ3 自旋电子学RC系统在准确率和处理速度方面与先前的人工储层系统相比表现如何？
• RQ4 自旋电子学器件在器件层面的非线性动力学和短期记忆特性在多大程度上促进了有效的时序信息处理？
• RQ5 由于储层权重固定不变，物理RC系统是否对器件差异和缺陷具有鲁棒性？

主要发现

• 基于MSM的RC系统在MNIST手写数字分类任务中达到87.6%的准确率，与包含88个金属氧化物忆阻器的储层系统性能相当。
• 由于磁化动力学时间尺度为纳秒级，而离子运动为毫秒级，基于MSM的RC系统的信息处理速度比基于离子的忆阻器系统快1000倍以上。
• 基于STNO的RC系统对二阶非线性动态系统的输出预测达到NMSE为1.31×10⁻³，证明其在建模复杂动力学方面具有高精度。
• 在NARMA10任务中，基于STNO的RC系统在测试阶段实现NRMSE为0.123，优于包含400个节点的数字储层系统（NRMSE ≈ 0.15）。
• 物理RC系统对器件差异具有鲁棒性，因为固定储层权重无需重新训练，且系统能良好泛化到新输入序列。
• LLG方程的微磁仿真准确捕捉了自旋电子学器件的非线性响应，验证了其在设计物理储层中的适用性。