[论文解读] Wild Patterns Reloaded: A Survey of Machine Learning Security against Training Data Poisoning

Antonio Emanuele Ciná, Kathrin Grosse+8 more|arXiv (Cornell University)|May 4, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本综述系统化地梳理了机器学习安全领域针对训练数据投毒攻击的研究，对过去15年来的100多篇相关论文进行了分类，涵盖计算机视觉及其他模态的投毒攻击与防御方法。该综述提出了一种统一的双层规划框架用于建模投毒攻击，回顾了威胁模型、防御方法及开放性挑战，并强调了在抵御多种攻击类型时存在的关键权衡与不可能性结果。

ABSTRACT

The success of machine learning is fueled by the increasing availability of computing power and large training datasets. The training data is used to learn new models or update existing ones, assuming that it is sufficiently representative of the data that will be encountered at test time. This assumption is challenged by the threat of poisoning, an attack that manipulates the training data to compromise the model's performance at test time. Although poisoning has been acknowledged as a relevant threat in industry applications, and a variety of different attacks and defenses have been proposed so far, a complete systematization and critical review of the field is still missing. In this survey, we provide a comprehensive systematization of poisoning attacks and defenses in machine learning, reviewing more than 100 papers published in the field in the last 15 years. We start by categorizing the current threat models and attacks, and then organize existing defenses accordingly. While we focus mostly on computer-vision applications, we argue that our systematization also encompasses state-of-the-art attacks and defenses for other data modalities. Finally, we discuss existing resources for research in poisoning, and shed light on the current limitations and open research questions in this research field.

研究动机与目标

• 系统化梳理并批判性回顾过去15年中机器学习安全领域针对训练数据投毒攻击的最新研究进展，涵盖100多篇相关论文。
• 将投毒攻击分类为无差别攻击、目标攻击和后门攻击三类，并将其与相应的威胁模型相匹配。
• 基于双层优化提出统一的形式化建模方法，用于投毒攻击，从而实现对攻击与防御机制的系统性分析。
• 识别并讨论开放性研究挑战，包括权衡关系、不可能性结果，以及投毒攻击与其他机器学习威胁（如逃避攻击和隐私泄露）之间的相互作用。
• 整理并突出关键研究资源，包括数据集、软件库和基准测试工具，以支持该领域内可复现的评估工作。

提出的方法

• 本文对过去15年中关于机器学习中数据投毒的100多项研究进行了全面的文献综述，涵盖计算机视觉、自然语言处理、音频及其他模态。
• 提出基于双层优化的正式框架，用于建模投毒攻击，其中攻击者通过优化训练数据以在测试阶段降低模型性能。
• 作者将投毒攻击划分为三类主要类型：无差别攻击（最大化整体错误率）、目标攻击（聚焦于特定输入）和后门攻击（通过注入触发器并附带错误标注样本）。
• 根据其应对的攻击类型，系统性地组织防御方法，包括基于检测的防御、鲁棒训练方法和数据净化技术。
• 评估多种攻击类型下防御机制的鲁棒性，并指出其局限性，如对特定攻击类型过拟合、泛化能力差等问题。
• 进一步利用近期研究的实证与理论洞察，分析投毒攻击与其他机器学习威胁（如逃避攻击和隐私泄露）之间的相互作用。

实验结果

研究问题

• RQ1 机器学习中的数据投毒攻击主要有哪些关键类别？它们在目标与作用机制上如何不同？
• RQ2 如何利用双层优化对投毒攻击进行形式化建模与分析？该框架提供了哪些新见解？
• RQ3 现有防御机制的主要局限性与权衡是什么？为何某些防御方法在面对多类或自适应攻击时会失效？
• RQ4 投毒攻击如何与机器学习系统中的其他对抗性威胁（如逃避攻击和隐私泄露）相互作用？
• RQ5 在真实世界部署中，针对机器学习模型的投毒攻击，仍存在哪些开放性研究挑战与未来研究方向？

主要发现

• 综述指出，后门攻击、目标攻击和无差别攻击是三种主要攻击类别，各自具有不同的目标与威胁模型。
• 许多防御方法对特定攻击类型过拟合，导致在面对多类或自适应攻击时泛化能力差、鲁棒性有限。
• 存在不可能性结果：例如，理论上无法防御某些仅针对数据集一小部分样本的投毒攻击类别。
• 投毒与逃避攻击之间存在强关联：后门攻击的高准确率通常与逃避攻击的成功率降低相关，反之亦然。
• 投毒可被用于破坏隐私保护型防御机制，例如通过减小模型的认证鲁棒性半径。
• 综述强调，尽管实践中已有充分证据表明投毒、逃避与隐私问题存在相互作用，但将三者结合的跨学科研究仍较为有限。