[论文解读] Robustness and Transferability of Universal Attacks on Compressed Models

Alberto G. Matachana, Kenneth T. Co+3 more|arXiv (Cornell University)|Dec 10, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用 7

一句话总结

本文研究了剪枝和量化——常见的模型压缩技术——对深度神经网络中通用对抗扰动（UAPs）鲁棒性和迁移性的影响。研究发现，软滤波剪枝（Soft Filter Pruning）通过改变模型的特征空间，增强了对UAP迁移攻击的鲁棒性，而量化可能导致梯度遮蔽，造成虚假的安全感。压缩模型与完整模型之间的迁移性有限，尤其是在不同剪枝方法之间，表明压缩技术可被用作边缘部署中的防御策略。

ABSTRACT

Neural network compression methods like pruning and quantization are very effective at efficiently deploying Deep Neural Networks (DNNs) on edge devices. However, DNNs remain vulnerable to adversarial examples-inconspicuous inputs that are specifically designed to fool these models. In particular, Universal Adversarial Perturbations (UAPs), are a powerful class of adversarial attacks which create adversarial perturbations that can generalize across a large set of inputs. In this work, we analyze the effect of various compression techniques to UAP attacks, including different forms of pruning and quantization. We test the robustness of compressed models to white-box and transfer attacks, comparing them with their uncompressed counterparts on CIFAR-10 and SVHN datasets. Our evaluations reveal clear differences between pruning methods, including Soft Filter and Post-training Pruning. We observe that UAP transfer attacks between pruned and full models are limited, suggesting that the systemic vulnerabilities across these models are different. This finding has practical implications as using different compression techniques can blunt the effectiveness of black-box transfer attacks. We show that, in some scenarios, quantization can produce gradient-masking, giving a false sense of security. Finally, our results suggest that conclusions about the robustness of compressed models to UAP attacks is application dependent, observing different phenomena in the two datasets used in our experiments.

研究动机与目标

• 评估剪枝和量化对压缩DNN在通用对抗扰动（UAPs）下鲁棒性的影响。
• 研究UAP在压缩模型与其全精度对应模型之间的迁移性。
• 评估压缩技术是否可作为边缘AI系统中针对黑箱UAP攻击的防御机制。
• 在CIFAR-10和SVHN等数据集上，比较不同压缩方法（如软滤波剪枝、训练后剪枝、量化）的性能与鲁棒性。
• 确定对UAP的鲁棒性是否在不同数据集间保持一致，或具有应用依赖性。

提出的方法

• 在CIFAR-10和SVHN数据集上，通过白盒和迁移攻击设置，对压缩模型进行UAP鲁棒性的实验评估。
• 应用多种压缩技术：软滤波剪枝（SFP）、训练后剪枝（PP）和量化（Q），并与全精度模型进行比较。
• 使用PGD等迭代优化方法生成UAP，分别针对无目标和有目标攻击进行定制。
• 通过在一个模型上生成UAP并在其他模型上测试，评估其迁移性，包括在压缩与非压缩模型之间。
• 在训练过程中使用mixup和cutout等正则化技术，评估其对剪枝模型中UAP鲁棒性的影响。
• 分析SFP模型与全精度模型之间的特征空间差异，以解释迁移性变化的成因。

实验结果

研究问题

• RQ1 通过剪枝和量化进行模型压缩，如何影响DNN对通用对抗扰动的鲁棒性？
• RQ2 UAP在压缩模型与其全精度对应模型之间迁移的程度如何？
• RQ3 不同的剪枝策略（如软滤波剪枝）是否能降低UAP的迁移性，从而提升安全性？
• RQ4 量化是否提供真正的鲁棒性，还是仅引发梯度遮蔽，导致虚假的安全感？
• RQ5 数据集特定的数据分布如何影响压缩模型对UAP攻击的鲁棒性？

主要发现

• 软滤波剪枝（SFP）显著降低了模型间UAP的迁移性，表明其在学习特征上发生了结构性变化，从而阻碍了跨模型攻击的成功。
• 训练后剪枝（PP）与全模型之间的UAP迁移性有限，表明PP并未保留原始模型的系统性漏洞。
• 量化可能引发梯度遮蔽，造成虚假的鲁棒性印象：尽管在对抗样本上准确率高，但对新攻击的泛化能力差。
• 在CIFAR-10上，SFP结合mixup和cutout正则化可增强对有目标UAP的鲁棒性；而在SVHN上，相同方法反而降低鲁棒性，凸显数据集依赖性。
• 压缩技术在提升UAP鲁棒性方面的有效性在不同数据集间并不一致，表明鲁棒性结果高度依赖于应用场景和数据分布。
• 当使用SFP压缩模型时，UAP的迁移性显著降低，表明通过部署采用不同压缩技术的多个压缩模型变体，可有效缓解黑箱UAP威胁。