[论文解读] Poisoning Attacks against Support Vector Machines

Battista Biggio, Blaine Nelson+1 more|arXiv (Cornell University)|Jun 27, 2012

Adversarial Robustness in Machine Learning参考文献 21被引用 734

一句话总结

本文提出了一种基于梯度上升的投毒攻击方法，针对支持向量机（SVMs），通过注入恶意训练样本以最大化测试误差。该方法利用SVM对偶解对训练数据的平滑依赖性，直接在输入空间中计算梯度，即使在非线性核函数下也能有效构造攻击，仅施加微小扰动即可显著降低分类器性能。

ABSTRACT

We investigate a family of poisoning attacks against Support Vector Machines (SVM). Such attacks inject specially crafted training data that increases the SVM's test error. Central to the motivation for these attacks is the fact that most learning algorithms assume that their training data comes from a natural or well-behaved distribution. However, this assumption does not generally hold in security-sensitive settings. As we demonstrate, an intelligent adversary can, to some extent, predict the change of the SVM's decision function due to malicious input and use this ability to construct malicious data. The proposed attack uses a gradient ascent strategy in which the gradient is computed based on properties of the SVM's optimal solution. This method can be kernelized and enables the attack to be constructed in the input space even for non-linear kernels. We experimentally demonstrate that our gradient ascent procedure reliably identifies good local maxima of the non-convex validation error surface, which significantly increases the classifier's test error.

研究动机与目标

• 研究SVM对通过操纵训练数据以降低模型准确率的投毒攻击的脆弱性。
• 开发一种方法，使攻击者能够构造出使SVM测试误差最大化的恶意训练样本。
• 证明在无法访问特征空间的情况下，仅通过输入空间中的梯度上升即可有效优化攻击样本。
• 展示该攻击在不同核函数和数据集（包括MNIST）上均具有有效性。
• 强调在安全敏感的机器学习应用中，需增强对对抗性训练数据的鲁棒性。

提出的方法

• 该攻击在验证误差曲面上使用梯度上升，通过SVM优化问题的对偶解计算得到。
• 基于SVM最优解对训练数据变化的敏感性计算梯度，利用对偶解相对于数据点的平滑性。
• 该方法直接在输入空间中操作，通过计算攻击样本与训练样本之间点积的梯度，实现核化。
• 将攻击形式化为一个优化问题：在保持SVM解结构约束的前提下，最大化测试误差。
• 通过小步长迭代应用，以保持SVM的间隔结构并避免无效解。
• 对于多点攻击，该方法采用顺序单点优化，表明即使非同时扰动也能显著降低性能。

实验结果

研究问题

• RQ1 攻击者能否通过注入恶意训练样本可靠地提高SVM的测试误差？
• RQ2 当仅能访问输入空间时，攻击者如何构造有效的投毒样本，特别是在非线性核函数下？
• RQ3 在输入空间中基于梯度的优化能在多大程度上提升SVM投毒攻击的有效性？
• RQ4 攻击性能如何随注入样本数量和污染率的变化而变化？
• RQ5 当攻击者无法控制注入样本的标签时，该方法存在哪些局限性？

主要发现

• 所提出的梯度上升方法能可靠地在非凸测试误差曲面上找到良好的局部最大值，显著提高SVM的分类错误率。
• 即使扰动极小，随着污染率上升，测试误差也持续且可测量地增加，在MNIST数据集上观察到明显退化。
• 该方法在输入空间中实现了有效攻击，避免了对特征空间的直接访问，相较于先前工作具有显著优势。
• 多点攻击（即使顺序执行）也导致性能显著下降，证明了攻击策略的可扩展性。
• 在攻击者使用替代训练集估计模型行为的现实假设下，该攻击依然有效。
• 该方法揭示了输入空间变换可对再生核希尔伯特空间（RKHS）基函数产生可预测且可利用的影响，从而支持新型逃避策略的实现。