[论文解读] Training large-scale ANNs on simulated resistive crossbar arrays

Malte J. Rasch, Tayfun Gokmen+1 more|arXiv (Cornell University)|Jun 6, 2019

Advanced Memory and Neural Computing参考文献 18被引用 4

一句话总结

本文展示了通过算法补偿——特别是归一化和权重范围重映射——即使在硬件限制（如有限的权重分辨率和模拟噪声）下，大型人工神经网络（ANN）如AlexNet也能在模拟的阻变交叉阵列上成功训练。关键贡献在于，仅使用12,000个有效器件状态，top-1测试误差降低了20个百分点（降至约60%），表明这些技术显著缩小了与浮点训练之间的准确率差距。

ABSTRACT

Accelerating training of artificial neural networks (ANN) with analog resistive crossbar arrays is a promising idea. While the concept has been verified on very small ANNs and toy data sets (such as MNIST), more realistically sized ANNs and datasets have not yet been tackled. However, it is to be expected that device materials and hardware design constraints, such as noisy computations, finite number of resistive states of the device materials, saturating weight and activation ranges, and limited precision of analog-to-digital converters, will cause significant challenges to the successful training of state-of-the-art ANNs. By using analog hardware aware ANN training simulations, we here explore a number of simple algorithmic compensatory measures to cope with analog noise and limited weight and output ranges and resolutions, that dramatically improve the simulated training performances on RPU arrays on intermediately to large-scale ANNs.

研究动机与目标

• 研究在存在硬件限制（如有限权重分辨率和模拟噪声）的模拟阻变处理单元（RPU）阵列上，训练大规模ANN（如在ImageNet上训练AlexNet）的可行性。
• 评估模拟噪声、有限权重分辨率和受限动态范围对训练性能的影响。
• 识别并实施简单的算法补偿措施，以在这些约束下提升训练准确率。
• 确定在大规模训练中接近浮点精度所需的最少有效器件状态数。

提出的方法

• 使用集成于Caffe2的RPU模拟器并结合GPU加速，在阻变交叉阵列上对大型ANN（如AlexNet）进行模拟训练。
• 采用脉冲权重更新方式，使用最长31个脉冲的随机脉冲序列来模拟模拟硬件更新。
• 在前向传播和反向传播过程中应用激活值的z-score归一化，以减轻模拟噪声的影响。
• 实现一种新颖的权重范围重映射方案，以虚拟扩展阻变器件的有效状态数并改善正则化效果。
• 采用基础RPU模型（1,200个有效状态，Δw_min = 0.001），并通过扩展至12,000个状态进行消融实验。
• 在ImageNet上评估性能，使用批量大小25、权重衰减λ = 0.00125，并每15个周期衰减一次初始学习率。

实验结果

研究问题

• RQ1 在模拟RPU阵列上训练AlexNet等大规模ANN时，需要多少有效阻变状态才能在ImageNet上实现可接受的准确率？
• RQ2 归一化技术是否能有效减轻在RPU基训练中反向传播期间模拟噪声的影响？
• RQ3 对权重范围进行虚拟重映射是否能提升低精度RPU阵列上的有效分辨率和泛化性能？
• RQ4 算法补偿能在多大程度上弥合模拟RPU训练与浮点参考模型之间的准确率差距？
• RQ5 在当前硬件限制下，归一化和重映射带来的性能提升是否足以实现最先进准确率？

主要发现

• 仅使用1,200个有效器件状态时，ImageNet上的top-1测试误差约为80%，表明由于分辨率有限，性能显著下降。
• 应用激活值的z-score归一化有效减轻了模拟噪声的影响，并提升了训练稳定性，使更大模型能够收敛。
• 引入权重范围重映射后，top-1测试误差降低了约20个百分点，使用12,000个有效状态时达到约60%的误差。
• 即使在12,000个状态并采用完整算法补偿的情况下，模型仍未能达到浮点参考模型低于50% top-1误差的准确率。
• 在更深的网络（如AlexNet，最大矩阵维度为9216）中，重映射带来的性能增益比在CIFAR上的浅层网络（如ResNet）更显著。
• 结果表明，尽管算法补偿显著改善了模拟训练性能，但要实现完整的浮点精度，仍需在材料或系统设计方面进行进一步创新。