[论文解读] Rethinking Non-idealities in Memristive Crossbars for Adversarial Robustness in Neural Networks

Abhiroop Bhattacharjee, Priyadarshini Panda|arXiv (Cornell University)|Aug 25, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用 18

一句话总结

本论文表明，忆阻器交叉阵列中的固有非理想特性（如器件差异和互连寄生参数）在无需额外优化的情况下，可自然增强深度神经网络（DNN）的对抗鲁棒性。当将VGG8和VGG16网络映射到交叉阵列时，其在FGSM和PGD攻击下的鲁棒性相比软件实现的DNN提高了10%–20%，优于多种最先进的防御技术。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be prone to adversarial attacks. Memristive crossbars, being able to perform Matrix-Vector-Multiplications (MVMs) efficiently, are used to realize DNNs on hardware. However, crossbar non-idealities have always been devalued since they cause errors in performing MVMs, leading to computational accuracy losses in DNNs. Several software-based defenses have been proposed to make DNNs adversarially robust. However, no previous work has demonstrated the advantage conferred by the crossbar non-idealities in unleashing adversarial robustness. We show that the intrinsic hardware non-idealities yield adversarial robustness to the mapped DNNs without any additional optimization. We evaluate the adversarial resilience of state-of-the-art DNNs (VGG8 & VGG16 networks) using benchmark datasets (CIFAR-10, CIFAR-100 & Tiny Imagenet) across various crossbar sizes. We find that crossbar non-idealities unleash significantly greater adversarial robustness (>10-20%) in crossbar-mapped DNNs than baseline software DNNs. We further assess the performance of our approach with other state-of-the-art efficiency-driven adversarial defenses and find that our approach performs significantly well in terms of reducing adversarial loss.

研究动机与目标

• 探究忆阻器交叉阵列中的硬件非理想性是否可能在未进行额外优化的情况下，无意中提升DNN的对抗鲁棒性。
• 评估器件级和电路级非理想性对不同DNN架构和数据集上对抗鲁棒性的影响。
• 将交叉阵列映射的DNN鲁棒性与最先进的软件防御方法进行比较，尤其关注对抗损失降低的表现。
• 分析将非理想性与效率驱动技术（如量化、像素离散化）结合时对鲁棒性的影响。
• 重新定义对非理想性的认知，将其从计算缺陷转变为神经形态硬件中对抗安全的资产。

提出的方法

• 开发了一个基于PyTorch的框架，用于将VGG8和VGG16网络映射到具有可配置非理想性的阻性交叉阵列中。
• 将器件级非理想性（如突触电阻变化）和电路级非理想性（如互连寄生参数、驱动/传感电阻）整合到MVM计算流水线中。
• 使用FGSM和PGD攻击评估鲁棒性，测量在不同扰动幅度（ε = 0.1 至 0.3）下的对抗损失（AL）。
• 在多个交叉阵列尺寸（16×16 至 32×32）和数据集（CIFAR-10、CIFAR-100、Tiny ImageNet）上评估鲁棒性。
• 与纯软件防御方法（包括4位像素离散化和QUANOS量化）进行比较，以分离硬件非理想性的贡献。
• 分析关键参数（如R_MIN）在调节对抗鲁棒性中的作用。

实验结果

研究问题

• RQ1 忆阻器交叉阵列中的固有非理想性是否可在无需额外优化的情况下提升DNN的对抗鲁棒性？
• RQ2 在FGSM和PGD攻击下，交叉阵列映射的DNN与基线软件DNN相比，其对抗鲁棒性如何？
• RQ3 将硬件非理想性与效率驱动技术（如量化或像素离散化）结合时，对对抗鲁棒性有何影响？
• RQ4 不同交叉阵列尺寸和器件参数（如R_MIN）如何影响非理想性所赋予的鲁棒性水平？
• RQ5 非理想性的存在是否使DNN比最先进的软件防御方法（如QUANOS或4位离散化）更具鲁棒性？

主要发现

• 在所有评估的数据集和攻击类型下，交叉阵列映射的DNN表现出比基线软件DNN高10%–20%以上的对抗鲁棒性。
• 在CIFAR-100上对VGG16进行FGSM攻击时，非理想性在对抗损失降低方面优于所有其他最先进的防御方法，包括4位像素离散化和QUANOS，提升约15%。
• 在PGD攻击下，非理想性在所有方法中排名第二，优于4位离散化约12%，优于QUANOS约18%–22%。
• 在ε = 0.3时，4位像素离散化与交叉阵列非理想性的结合实现了最高的鲁棒性，表明在高扰动水平下存在协同效应。
• 与QUANOS结合时，非理想性使对抗损失相比全精度模型在硬件上映射的模型降低了约15%–30%，表明具有叠加优势。
• 仅非理想性本身在ε = 0.1时提供的鲁棒性已超过4位离散化，且在不同交叉阵列尺寸和网络架构下表现一致。