[论文解读] Zero-shifting Technique for Deep Neural Network Training on Resistive Cross-point Arrays

Hyungjun Kim, Malte J. Rasch+6 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Memory and Neural Computing参考文献 29被引用 12

一句话总结

本文提出了一种零点偏移技术，以缓解RRAM器件中非对称电导调制导致的基于电阻交叉点阵列的DNN训练性能下降问题。通过动态调整参考权重点以补偿权重更新方向不平衡（上行与下行），该方法恢复了梯度累积的对称性，在不改变硬件设计的前提下显著提升了不平衡突触上的MNIST分类准确率。

ABSTRACT

A resistive memory device-based computing architecture is one of the promising platforms for energy-efficient Deep Neural Network (DNN) training accelerators. The key technical challenge in realizing such accelerators is to accumulate the gradient information without a bias. Unlike the digital numbers in software which can be assigned and accessed with desired accuracy, numbers stored in resistive memory devices can only be manipulated following the physics of the device, which can significantly limit the training performance. Therefore, additional techniques and algorithm-level remedies are required to achieve the best possible performance in resistive memory device-based accelerators. In this paper, we analyze asymmetric conductance modulation characteristics in RRAM by Soft-bound synapse model and present an in-depth analysis on the relationship between device characteristics and DNN model accuracy using a 3-layer DNN trained on the MNIST dataset. We show that the imbalance between up and down update leads to a poor network performance. We introduce a concept of symmetry point and propose a zero-shifting technique which can compensate imbalance by programming the reference device and changing the zero value point of the weight. By using this zero-shifting method, we show that network performance dramatically improves for imbalanced synapse devices.

研究动机与目标

• 解决在DNN训练过程中RRAM器件中非对称电导调制导致的模型准确率下降问题。
• 识别由于权重更新方向（上行与下行）不平衡导致的电阻交叉点阵列性能损失的根本原因。
• 提出一种算法级解决方案，以在不修改硬件的前提下恢复梯度累积的对称性。
• 证明调整零点参考可有效补偿基于RRAM加速器的器件级非对称性。

提出的方法

• 引入‘对称点’的概念，即上行与下行更新达到平衡的理想参考权重值。
• 提出零点偏移：通过编程一个参考RRAM器件使其与对称点对齐，重新定义权重的零值点。
• 修改梯度更新过程以考虑偏移后的参考点，确保有效权重变化的对称性。
• 使用Soft-bound突触模型模拟并分析HfO2基RRAM器件中的电导调制非对称性。
• 在MNIST上训练一个三层DNN，以评估非对称性的影响以及在真实器件约束下零点偏移的有效性。
• 校准参考器件以匹配器件固有的对称点，最大限度减少漂移和更新不平衡。

实验结果

研究问题

• RQ1 RRAM器件中的非对称电导调制如何影响DNN训练性能？
• RQ2 器件级电导非对称性与最终DNN模型准确率之间存在何种关系？
• RQ3 能否通过算法补偿在不进行硬件重新设计的情况下恢复RRAM基DNN加速器的性能？
• RQ4 动态调整零点参考如何提升训练稳定性和准确率？

主要发现

• 零点偏移技术在使用不平衡RRAM突触时，显著提升了MNIST数据集上的DNN分类准确率。
• 通过重新定义参考权重点，该方法有效补偿了RRAM器件中非对称的上行/下行电导变化。
• Soft-bound突触模型分析证实，电导非对称性是电阻交叉点阵列性能下降的主要原因。
• 所提方法可在不改变底层器件架构的前提下，实现稳定且准确的RRAM硬件DNN训练。