[论文解读] SwitchX: Gmin-Gmax Switching for Energy-Efficient and Robust Implementation of Binary Neural Networks on ReRAM Xbars

Abhiroop Bhattacharjee, Priyadarshini Panda|arXiv (Cornell University)|Nov 30, 2020

Advanced Memory and Neural Computing被引用 4

一句话总结

SwitchX 提出了一种针对 ReRAM crossbars 上二值化神经网络（BNNs）的新型权重映射策略，通过优先使用高电阻态（HRS）突触而非低电阻态（LRS）突触，以减轻 crossbar 非理想性的影响。该方法可将对抗鲁棒性提升最多16%，并将能效提升最多22%，尤其在结合状态感知训练时效果更显著。

ABSTRACT

Memristive crossbars can efficiently implement Binarized Neural Networks (BNNs) wherein the weights are stored in high-resistance states (HRS) and low-resistance states (LRS) of the synapses. We propose SwitchX mapping of BNN weights onto ReRAM crossbars such that the impact of crossbar non-idealities, that lead to degradation in computational accuracy, are minimized. Essentially, SwitchX maps the binary weights in such manner that a crossbar instance comprises of more HRS than LRS synapses. We find BNNs mapped onto crossbars with SwitchX to exhibit better robustness against adversarial attacks than the standard crossbar-mapped BNNs, the baseline. Finally, we combine SwitchX with state-aware training (that further increases the feasibility of HRS states during weight mapping) to boost the robustness of a BNN on hardware. We find that this approach yields stronger defense against adversarial attacks than adversarial training, a state-of-the-art software defense. We perform experiments on a VGG16 BNN with benchmark datasets (CIFAR-10, CIFAR-100 & TinyImagenet) and use Fast Gradient Sign Method and Projected Gradient Descent adversarial attacks. We show that SwitchX combined with state-aware training can yield upto ~35% improvements in clean accuracy and ~6-16% in adversarial accuracies against conventional BNNs. Furthermore, an important by-product of SwitchX mapping is increased crossbar power savings, owing to an increased proportion of HRS synapses, that is furthered with state-aware training. We obtain upto ~21-22% savings in crossbar power consumption for state-aware trained BNN mapped via SwitchX on 16x16 & 32x32 crossbars using the CIFAR-10 & CIFAR-100 datasets.

研究动机与目标

• 解决在非理想 ReRAM crossbars 上实现 BNN 时对对抗攻击的脆弱性问题。
• 缓解由 crossbar 非理想性（如互连寄生参数和器件差异）引起的精度下降问题。
• 通过增加 HRS 突触的比例来提高能效，因为 HRS 突触功耗更低。
• 通过硬件感知的权重映射增强对抗鲁棒性，而不完全依赖软件防御机制。
• 将状态感知训练与 SwitchX 结合，进一步提升 HRS 的可行性，并同时改善精度与鲁棒性。

提出的方法

• 提出 SwitchX 映射方法，重新组织 BNN 权重，使 crossbars 中的 HRS 突触多于 LRS 突触。
• 利用 HRS 突触对电阻非理想性不敏感的特性，降低 MAC 运算过程中误差的传播。
• 采用改进的权重重排策略，以在 crossbar 映射过程中最大化 HRS 的利用率。
• 将 SwitchX 与状态感知训练结合，后者在权重量化过程中调整训练过程以偏好 HRS 状态。
• 使用电路级仿真框架对 crossbar 非理想性（包括互连寄生参数、器件差异以及传感/驱动电阻）进行建模。
• 在 CIFAR-10、CIFAR-100 和 TinyImageNet 上使用标准 BNN（VGG16）评估性能，采用 FGSM 和 PGD 对抗攻击。

实验结果

研究问题

• RQ1 硬件感知的权重映射策略是否能减轻 ReRAM crossbar 非理想性对 BNN 推理精度的影响？
• RQ2 在 ReRAM crossbars 中增加 HRS 突触的比例是否能提升 BNN 的对抗鲁棒性？
• RQ3 SwitchX 映射与状态感知训练结合后，能否同时提升能效与鲁棒性？
• RQ4 在硬件非理想性条件下，SwitchX 与最先进的软件对抗训练相比，在鲁棒性方面表现如何？
• RQ5 crossbar 功耗节省程度在多大程度上随权重分布中 HRS-LRS 不平衡程度的增加而提升？

主要发现

• SwitchX 映射通过优先使用受电阻变化影响较小的 HRS 突触，减少了因 crossbar 非理想性导致的精度下降。
• SwitchX 与状态感知训练结合后，在 CIFAR-10 和 CIFAR-100 上，干净精度最高提升约35%，对抗精度提升约6–16%，优于传统 BNN。
• 在采用状态感知训练时，32×32 crossbars 上的功耗节省最高达约22%，16×16 crossbars 上达约21%。
• 分层功耗分析显示，当 HRS-LRS 分布变得不均匀时，尤其在 conv7 与 conv8 之间，功耗节省显著。
• 即使在因电阻非理想性导致性能下降的情况下，SwitchX 在白盒攻击下的鲁棒性仍优于对抗训练。
• 该方法具有双重优势：在不牺牲模型精度的前提下，同时提升了能效与对抗鲁棒性。