[论文解读] X-CHANGR: Changing Memristive Crossbar Mapping for Mitigating Line-Resistance Induced Accuracy Degradation in Deep Neural Networks

Amogh Agrawal, Chankyu Lee+1 more|arXiv (Cornell University)|Jun 29, 2019

Advanced Memory and Neural Computing参考文献 38被引用 21

一句话总结

该论文提出X-CHANGR，一种交叉条重新映射技术，通过将对DNN权重和核函数敏感的项按重要性排序并重新分配至更靠近驱动器的列，从而减少忆阻器交叉条架构中因线路电阻引起的精度退化。在VGG16网络与CIFAR-10数据集上，采用静态（SRS）和动态（DRS）重新映射策略后，精度退化分别降低至2.9%和2.1%，而基线映射的退化为5.6%，且无需微调或对非易失性存储器进行多次写入。

ABSTRACT

There is widespread interest in emerging technologies, especially resistive crossbars for accelerating Deep Neural Networks (DNNs). Resistive crossbars offer a highly-parallel and efficient matrix-vector-multiplication (MVM) operation. MVM being the most dominant operation in DNNs makes crossbars ideally suited. However, various sources of device and circuit non-idealities lead to errors in the MVM output, thereby reducing DNN accuracy. Towards that end, we propose crossbar re-mapping strategies to mitigate line-resistance induced accuracy degradation in DNNs, without having to re-train the learned weights, unlike most prior works. Line-resistances degrade the voltage levels along the crossbar columns, thereby inducing more errors at the columns away from the drivers. We rank the DNN weights and kernels based on a sensitivity analysis, and re-arrange the columns such that the most sensitive kernels are mapped closer to the drivers, thereby minimizing the impact of errors on the overall accuracy. We propose two algorithms $-$ static remapping strategy (SRS) and dynamic remapping strategy (DRS), to optimize the crossbar re-arrangement of a pre-trained DNN. We demonstrate the benefits of our approach on a standard VGG16 network trained using CIFAR10 dataset. Our results show that SRS and DRS limit the accuracy degradation to 2.9\% and 2.1\%, respectively, compared to a 5.6\% drop from an as it is mapping of weights and kernels to crossbars. We believe this work brings an additional aspect for optimization, which can be used in tandem with existing mitigation techniques, such as in-situ compensation, technology aware training and re-training approaches, to enhance system performance.

研究动机与目标

• 解决基于电阻交叉条的DNN推理中因列间电压降导致的精度退化问题，该问题由线路电阻引起，影响性能。
• 在不进行微调或对非易失性存储器进行多次写入的前提下缓解该退化问题，因为这些方法能耗高且受限于器件耐久性。
• 通过分析DNN层的敏感度并重新分配高敏感度核函数至低误差列，优化交叉条映射。
• 开发两种实用的重新映射策略——静态与动态策略，以在极低硬件开销下提升系统级精度。

提出的方法

• 建立统计模型以表征线路电阻的影响，表明电压降随与驱动器距离增加而加剧，导致远端列的误差更高。
• 通过在整个训练集上计算δ值进行敏感度分析，以按其对最终输出的影响对神经元进行排序，δ值越高表示敏感度越高。
• 在静态重新映射策略（SRS）中，使用完整数据集对所有神经元进行一次排序，并根据这些排序结果分配交叉条列。
• 在动态重新映射策略（DRS）中，使用小批量数据迭代计算局部梯度，重新排序神经元，并在每个小批量处理后重新映射列，选择验证精度最高的配置。
• 将交叉条模型与系统级框架集成，用于在VGG16与CIFAR-10上评估精度，比较基线、SRS与DRS配置。
• 最终映射基于验证性能选择，以最小化整体精度退化。

实验结果

研究问题

• RQ1 线路电阻引起的电压降在交叉条列之间如何变化？其对DNN推理精度有何影响？
• RQ2 对DNN权重和核函数的敏感度分析能否预测哪些层最易受线路电阻误差影响？
• RQ3 基于敏感度排序的交叉条列重新映射能否在不微调的情况下减少整体精度退化？
• RQ4 静态与动态重新映射策略在精度提升与硬件成本方面如何比较？
• RQ5 该方法能否与现有缓解技术（如原位补偿或微调）结合使用？

主要发现

• 在引入硬件误差前，VGG16网络在CIFAR-10上的基线精度为89.29%。
• 采用标准交叉条映射时，线路电阻导致5.6%的精度下降，性能降至83.70%。
• 静态重新映射策略（SRS）将退化降低至2.9%，测试精度达到86.37%。
• 动态重新映射策略（DRS）取得最佳效果，将退化限制在2.1%，测试精度达87.18%。
• DRS优于SRS，因其具备迭代重新映射能力及对设计空间的随机探索。
• 两种策略均避免了微调，并最大限度减少了eNVM写入次数，适用于能效受限的边缘部署系统。