[论文解读] Poison Forensics: Traceback of Data Poisoning Attacks in Neural Networks

Shawn Shan, Arjun Nitin Bhagoji+2 more|arXiv (Cornell University)|Oct 13, 2021

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出了 Poison Forensics，一种新颖的数字取证追溯系统，通过基于模型参数影响的迭代聚类与剪枝技术，识别神经网络中的中毒训练数据。该系统在各类脏标签与干净标签中毒攻击下，实现了超过 98.4% 的精确率与 96.8% 的召回率，同时对反取证对抗措施保持鲁棒性。

ABSTRACT

In adversarial machine learning, new defenses against attacks on deep learning systems are routinely broken soon after their release by more powerful attacks. In this context, forensic tools can offer a valuable complement to existing defenses, by tracing back a successful attack to its root cause, and offering a path forward for mitigation to prevent similar attacks in the future. In this paper, we describe our efforts in developing a forensic traceback tool for poison attacks on deep neural networks. We propose a novel iterative clustering and pruning solution that trims "innocent" training samples, until all that remains is the set of poisoned data responsible for the attack. Our method clusters training samples based on their impact on model parameters, then uses an efficient data unlearning method to prune innocent clusters. We empirically demonstrate the efficacy of our system on three types of dirty-label (backdoor) poison attacks and three types of clean-label poison attacks, across domains of computer vision and malware classification. Our system achieves over 98.4% precision and 96.8% recall across all attacks. We also show that our system is robust against four anti-forensics measures specifically designed to attack it.

研究动机与目标

• 为解决深度学习模型数据中毒攻击后分析的关键缺口，通过支持取证追溯以识别恶意训练样本。
• 开发一种高精确率、高召回率的系统，能够隔离导致部署模型中目标错误分类行为的中毒数据。
• 确保对旨在规避检测的反取证技术具备鲁棒性，从而支持在对抗性环境中的实际部署。
• 提供一种实用的取证工具，通过数据溯源追踪，与现有防御机制互补，实现归因与缓解。

提出的方法

• 系统根据训练样本对模型参数的影响进行聚类，将对学习权重具有相似影响的样本归为一类。
• 采用高效的遗忘学习技术，基于其对模型行为的贡献，迭代剪除被识别为良性样本的聚类。
• 该算法迭代执行，移除不影响攻击引发的错误分类行为的聚类。
• 该过程收敛至一个最小的训练样本集合，这些样本足以引发观察到的攻击行为。
• 该方法利用中毒效应为群体级现象而非单一样本特性的事实，实现对中毒数据的有效聚类。
• 通过遗忘学习评估聚类移除的影响，并利用模型行为的变化识别并仅保留最具影响力的、可能已被中毒的样本。

实验结果

研究问题

• RQ1 取证系统能否准确识别导致深度神经网络中目标错误分类的中毒训练数据子集？
• RQ2 所提出的迭代聚类与剪枝方法在多种攻击类型与模型架构下，隔离中毒数据的效率如何？
• RQ3 该系统在多大程度上对旨在规避检测的反取证对抗措施具备鲁棒性？
• RQ4 该系统能否区分中毒攻击与其他导致错误分类的原因，如逃避攻击或良性错误？
• RQ5 在现实环境中，面对不同的注入率与数据分布偏移，该系统表现如何？

主要发现

• Poison Forensics 系统在所有评估攻击中，对中毒训练数据的识别实现了超过 98.4% 的精确率与 96.8% 的召回率，涵盖脏标签与干净标签变体。
• 该系统在五种反取证对抗措施下仍保持 >95% 的精确率与 >92% 的召回率，展现出对规避尝试的强大抗性。
• 该方法对增加的注入率具有鲁棒性，因其将中毒视为群体效应，无论数量多少，均对具有相同攻击目标的数据进行聚类。
• 该系统能正确识别非中毒导致的错误分类原因（如逃避攻击与良性错误），通过观察剪除任意聚类均会改变模型行为，从而避免误报。
• 该系统在所有测试场景中均成功识别出错误分类的根本原因，包括计算机视觉与恶意软件分类任务中的复杂攻击。
• 该取证工具可被重新用于初始攻击识别，在无误报的情况下区分中毒攻击、逃避攻击或良性错误。