[论文解读] Prediction Poisoning: Utility-Constrained Defenses Against Model Stealing Attacks

Tribhuvanesh Orekondy, Bernt Schiele+1 more|arXiv (Cornell University)|Apr 1, 2020

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出预测污染（Prediction Poisoning），一种主动防御机制，通过主动扰动模型预测来污染攻击者通过黑盒查询进行深度神经网络（DNN）模型窃取时的训练目标。该方法在对良性用户效用影响极小的情况下，将攻击者准确率降低高达85倍，在多种数据集和攻击场景下均优于被动防御。

ABSTRACT

High-performance Deep Neural Networks (DNNs) are increasingly deployed in many real-world applications e.g., cloud prediction APIs. Recent advances in model functionality stealing attacks via black-box access (i.e., inputs in, predictions out) threaten the business model of such applications, which require a lot of time, money, and effort to develop. Existing defenses take a passive role against stealing attacks, such as by truncating predicted information. We find such passive defenses ineffective against DNN stealing attacks. In this paper, we propose the first defense which actively perturbs predictions targeted at poisoning the training objective of the attacker. We find our defense effective across a wide range of challenging datasets and DNN model stealing attacks, and additionally outperforms existing defenses. Our defense is the first that can withstand highly accurate model stealing attacks for tens of thousands of queries, amplifying the attacker's error rate up to a factor of 85x with minimal impact on the utility for benign users.

研究动机与目标

• 为应对通过云API部署的高性能DNN所面临的日益增长的模型窃取攻击威胁。
• 克服仅通过截断预测来防御的被动防御方法的局限性，后者对高级窃取技术无效。
• 设计一种主动干扰攻击者训练过程的防御机制，同时保持合法用户的使用效用。
• 在真实查询约束条件下，评估该防御在多种数据集和模型窃取攻击变体下的鲁棒性。

提出的方法

• 该防御在推理过程中对模型预测引入有针对性的扰动，专门设计用于降低攻击者重建原始模型的能力。
• 扰动被优化以最大化攻击者代理模型训练目标中的误差，从而有效污染学习过程。
• 通过确保扰动在正常推理背景下微小且不可察觉，该防御保持了对合法用户的使用效用。
• 该方法在部署阶段应用，无需对原始模型架构或训练过程进行任何修改。
• 该方法在效用约束下运行，确保扰动后的预测对合法用户仍保持高准确性。
• 该方法具有通用性，适用于多种DNN架构和数据集，包括ImageNet和CIFAR-10。

实验结果

研究问题

• RQ1 一种主动操纵预测的防御机制是否能显著降低模型窃取攻击的性能？
• RQ2 在数万次查询的限制下，该防御对高准确率模型窃取攻击的有效性如何？
• RQ3 该防御在干扰攻击者的同时，对合法用户效用的保持程度如何？
• RQ4 与仅通过截断或模糊化预测的被动防御相比，该防御表现如何？
• RQ5 该防御在多种数据集和DNN架构上是否依然有效？

主要发现

• 所提出的预测污染防御机制使攻击者模型准确率相比未污染训练数据降低了高达85倍。
• 该防御对合法用户保持了高使用效用，标准基准测试中的预测准确率仅出现轻微下降。
• 该防御在数万次查询限制下，对多种数据集（包括ImageNet和CIFAR-10）均表现有效。
• 其效果优于现有被动防御方法，后者对高级黑盒窃取攻击无效。
• 即使攻击者采用复杂查询策略并使用高准确率代理模型，该防御仍保持鲁棒性。
• 该方法具有通用性，适用于多种DNN架构，且无需修改模型架构。