[论文解读] QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks

Priyadarshini Panda|arXiv (Cornell University)|Apr 22, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用 11

一句话总结

QUANOS 提出了一种混合量化框架，根据对抗性噪声敏感度（ANS）为各层分配特定的位宽，从而在深度神经网络（DNNs）中同时提升能效和鲁棒性。通过针对每层优化精度以降低对对抗攻击的脆弱性，QUANOS 在保持相同准确率的前提下，相较于 8 位基线实现了 3.7 倍的内存压缩和 2 倍的能效提升，且在结合对抗性训练时，鲁棒性最高可提高 16%。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be vulnerable to adversarial attacks, wherein, a model gets fooled by applying slight perturbations on the input. With the advent of Internet-of-Things and the necessity to enable intelligence in embedded devices, low-power and secure hardware implementation of DNNs is vital. In this paper, we investigate the use of quantization to potentially resist adversarial attacks. Several recent studies have reported remarkable results in reducing the energy requirement of a DNN through quantization. However, no prior work has considered the relationship between adversarial sensitivity of a DNN and its effect on quantization. We propose QUANOS- a framework that performs layer-specific hybrid quantization based on Adversarial Noise Sensitivity (ANS). We identify a novel noise stability metric (ANS) for DNNs, i.e., the sensitivity of each layer's computation to adversarial noise. ANS allows for a principled way of determining optimal bit-width per layer that incurs adversarial robustness as well as energy-efficiency with minimal loss in accuracy. Essentially, QUANOS assigns layer significance based on its contribution to adversarial perturbation and accordingly scales the precision of the layers. A key advantage of QUANOS is that it does not rely on a pre-trained model and can be applied in the initial stages of training. We evaluate the benefits of QUANOS on precision scalable Multiply and Accumulate (MAC) hardware architectures with data gating and subword parallelism capabilities. Our experiments on CIFAR10, CIFAR100 datasets show that QUANOS outperforms homogenously quantized 8-bit precision baseline in terms of adversarial robustness (3%-4% higher) while yielding improved compression (>5x) and energy savings (>2x) at iso-accuracy.

研究动机与目标

• 为资源受限的物联网和嵌入式设备中日益增长的能效和安全 DNN 部署需求提供解决方案。
• 探究量化是否不仅能用于节省能耗，还能提升对抗鲁棒性。
• 开发一种基于对抗敏感度的最优逐层位宽分配方法，避免耗时的搜索过程和对预训练模型的依赖。
• 在支持数据门控和动态电压/频率调节（DVAFS）的脉动阵列加速器上，评估所提方法的硬件效率和鲁棒性。
• 证明基于对抗噪声敏感度引导的混合量化优于同质量化，在准确率、压缩率和鲁棒性方面表现更优。

提出的方法

• 提出一种新颖的对抗噪声敏感度（ANS）度量，用于量化各层对对抗扰动的贡献。
• 利用 ANS 确定最优的、逐层特定的位宽，为对抗噪声更敏感的层分配更低的精度。
• 在训练早期阶段（约 20–30 个周期后）应用量化框架，消除对预训练模型的依赖。
• 集成硬件感知优化技术，包括数据门控和动态电压/频率调节（DVAFS），以提升能效。
• 采用二维脉动阵列加速器进行硬件评估，测量能耗、内存压缩率和推理性能。
• 将 QUANOS 与对抗训练（AdvTrain+FGSM/PGD）结合，进一步增强对强攻击的鲁棒性。

实验结果

研究问题

• RQ1 逐层混合量化能否在保持能效和准确率的同时提升对抗鲁棒性？
• RQ2 对抗噪声敏感度（ANS）与各层对对抗攻击的脆弱性之间是否存在相关性？
• RQ3 在相同准确率下，QUANOS 是否能实现比同质 8 位量化更优的压缩率和能效？
• RQ4 将 QUANOS 与对抗训练结合，是否能获得优于当前最先进防御方法的鲁棒性？
• RQ5 QUANOS 是否无需依赖预训练模型即可有效应用，从而支持早期量化？

主要发现

• 在 CIFAR10 上，QUANOS 在保持相同准确率的前提下，相较于同质 8 位量化实现了 3.7 倍的内存压缩和 2 倍的能效提升。
• 在 CIFAR10 上，QUANOS 在白盒攻击下相比 8 位基线提升了 3–4% 的对抗鲁棒性。
• 在相同压缩率下，QUANOS 相较于相似尺寸的基线模型，在强 PGD 攻击下实现了超过 10% 的更高对抗鲁棒性。
• 当与对抗训练结合时，QUANOS 在 CIFAR10 和 CIFAR100 上相比最先进方法实现了 5–16% 的更高鲁棒性。
• 在 CIFAR100 上，QUANOS 在接近相同准确率下实现了 3.6 倍的内存压缩和 1.4–2.4 倍的能效增益，优于 8 位基线。
• 在 FGSM 和 PGD 攻击下，QUANOS 相比 8 位基线将对抗损失降低了 4–7%，且对 PGD 攻击的鲁棒性显著优于 4 位模型。