[论文解读] Online Training of Spiking Recurrent Neural Networks with Phase-Change Memory Synapses

Yiğit Demirağ, Charlotte Frenkel+2 more|arXiv (Cornell University)|Aug 4, 2021

Advanced Memory and Neural Computing参考文献 70被引用 12

一句话总结

本文提出一种面向基于相变存储器（PCM）突触的脉冲循环神经网络（SNN）的硬件感知训练框架，通过梯度累积实现在线学习，即使在PCM非理想特性下也能稳定运行。结果表明，混合精度权重更新通过在低分辨率PCM设备上实现精确、低学习率的更新，显著提升了训练的稳定性和准确性。

ABSTRACT

Spiking recurrent neural networks (RNNs) are a promising tool for solving a wide variety of complex cognitive and motor tasks, due to their rich temporal dynamics and sparse processing. However training spiking RNNs on dedicated neuromorphic hardware is still an open challenge. This is due mainly to the lack of local, hardware-friendly learning mechanisms that can solve the temporal credit assignment problem and ensure stable network dynamics, even when the weight resolution is limited. These challenges are further accentuated, if one resorts to using memristive devices for in-memory computing to resolve the von-Neumann bottleneck problem, at the expense of a substantial increase in variability in both the computation and the working memory of the spiking RNNs. To address these challenges and enable online learning in memristive neuromorphic RNNs, we present a simulation framework of differential-architecture crossbar arrays based on an accurate and comprehensive Phase-Change Memory (PCM) device model. We train a spiking RNN whose weights are emulated in the presented simulation framework, using a recently proposed e-prop learning rule. Although e-prop locally approximates the ideal synaptic updates, it is difficult to implement the updates on the memristive substrate due to substantial PCM non-idealities. We compare several widely adapted weight update schemes that primarily aim to cope with these device non-idealities and demonstrate that accumulating gradients can enable online and efficient training of spiking RNN on memristive substrates.

研究动机与目标

• 在相变存储器（PCM）基底上实现脉冲循环神经网络（SNN）的在线、硬件友好型训练。
• 解决PCM中的器件非理想性问题，包括循环间变化、$1/f$噪声以及有限分辨率。
• 评估并比较可缓解PCM非理想性的权重更新方案，以实现可靠的训练。
• 证明梯度累积可在低精度PCM设备上实现有效训练，同时保持高准确率。

提出的方法

• 作者开发了一个用于差分架构交叉阵列的仿真框架，采用精确的PCM器件模型，包含随机开关特性和电导漂移。
• 采用e-prop学习规则，计算理想突触更新的局部、时间反向传播近似。
• 评估了多种权重更新方案，包括直接e-prop更新、随机舍入以及混合精度梯度累积。
• 混合精度更新在高精度内存中累积梯度，随后将低精度更新应用于PCM器件，从而减少编程误差。
• 使用贝叶斯优化对每种更新方法的超参数进行调优，共进行1,000次网络试验，以确保公平比较。
• 基准任务是使用100个输入神经元、100个循环神经元和1个输出LIF神经元，生成一个1秒长的四个正弦波序列。

实验结果

研究问题

• RQ1 尽管存在器件非理想性，是否能在基于PCM的神经形态硬件上可靠地实现脉冲RNN的在线训练？
• RQ2 在真实的PCM约束条件下，不同权重更新方案（如直接e-prop、随机舍入和梯度累积）的表现如何？
• RQ3 混合精度梯度累积是否能提升在低分辨率PCM设备上的训练收敛性和准确性？
• RQ4 PCM特有的效应（如循环间变化和电导漂移）在多大程度上影响学习性能？
• RQ5 梯度累积是否能减少所需的PCM编程操作次数，同时保持网络准确率？

主要发现

• 混合精度梯度累积在所有测试的更新方案中实现了最高准确率，通过在低分辨率PCM设备上实现精确、低学习率的更新。
• 在高精度内存中累积梯度，使得能够有效利用与PCM最小可编程电导变化相匹配的小幅权重更新。
• 该方法减少了所需的PCM编程操作次数，并通过减轻器件非理想性的影响，提升了训练稳定性。
• 随机舍入和直接e-prop更新表现较差，因其对PCM可变性和有限分辨率的敏感性更高。
• 该框架实现了在PCM基底上可靠地进行脉冲RNN的在线训练，证明了e-prop在真实神经形态硬件中的可行性。
• 结果表明，硬件-算法协同设计，特别是结合梯度累积，对于在非易失性、低精度忆阻器件上实现稳定训练至关重要。