[论文解读] The Feasibility and Inevitability of Stealth Attacks

Ivan Tyukin, Desmond J. Higham+3 more|arXiv (Cornell University)|Jun 26, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用 5

一句话总结

本文证明，隐蔽攻击——即攻击者在不改变模型在未见数据上性能的前提下修改AI模型权重——不仅可行，而且在现代深度学习系统中日益不可避免。通过利用过参数化和高维潜在空间，作者表明，仅修改单个神经元即可在特定触发条件下完全控制模型输出，且在温和假设下成功率接近必然，揭示了模型共享与部署流程中的关键漏洞。

ABSTRACT

We develop and study new adversarial perturbations that enable an attacker to gain control over decisions in generic Artificial Intelligence (AI) systems including deep learning neural networks. In contrast to adversarial data modification, the attack mechanism we consider here involves alterations to the AI system itself. Such a stealth attack could be conducted by a mischievous, corrupt or disgruntled member of a software development team. It could also be made by those wishing to exploit a ``democratization of AI'' agenda, where network architectures and trained parameter sets are shared publicly. We develop a range of new implementable attack strategies with accompanying analysis, showing that with high probability a stealth attack can be made transparent, in the sense that system performance is unchanged on a fixed validation set which is unknown to the attacker, while evoking any desired output on a trigger input of interest. The attacker only needs to have estimates of the size of the validation set and the spread of the AI's relevant latent space. In the case of deep learning neural networks, we show that a one neuron attack is possible - a modification to the weights and bias associated with a single neuron - revealing a vulnerability arising from over-parameterization. We illustrate these concepts using state of the art architectures on two standard image data sets. Guided by the theory and computational results, we also propose strategies to guard against stealth attacks.

研究动机与目标

• 探究在不降低验证数据性能的前提下，隐蔽攻击的可行性和不可避免性。
• 开发可实施的攻击策略，在保持对固定未知验证集的检测不可见性的同时，操纵模型在特定触发条件下的行为。
• 在模型结构、触发设计和攻击准确率等不同约束条件下，分析此类攻击的成功理论概率。
• 识别深度学习模型中导致此类攻击的设计级漏洞，特别是过参数化架构中的漏洞。
• 基于模型架构、剪枝和哈希技术，提出实用的防御策略以减轻此类隐蔽攻击的风险。

提出的方法

• 作者提出一种通用的白盒隐蔽攻击框架，攻击者通过修改模型参数（如权重和偏置），在触发输入上诱导期望输出，同时保持在固定未知验证集上的性能不变。
• 他们开发了三种算法策略：(1) 在包含验证集表示的球体内设计触发；(2) 通过对齐潜在表示，使触发与合法数据相似以实现伪装；(3) 在潜在空间的低维子空间内实施受限攻击。
• 理论分析基于高维空间中的测度集中现象，表明随着潜在空间维度增加，攻击成功概率趋近于1，即使扰动极小。
• 关键理论边界（定理1–3）量化了成功概率，依据模型维度、攻击准确率（以α参数化）和可达性条件。
• 该方法包含一种单神经元攻击策略，证明仅修改单个神经元的权重和偏置，即可在触发输入上完全控制模型输出。
• 在SOTA图像分类模型（如ResNet、DenseNet）上，基于CIFAR-10和ImageNet的数据集上进行了实证验证，证明了单神经元攻击的高可行性。

Figure 1: General schemes of adversarial (panel A), data poisoning (panel B), and stealth attacks (panel C).

实验结果

研究问题

• RQ1 攻击者能否修改深度学习模型的参数，使其在特定触发输入上产生任意输出，同时在未知验证集上保持完全相同的性能？
• RQ2 此类隐蔽攻击的成功理论概率是多少？其与模型潜在空间维度的关系如何？
• RQ3 如何设计攻击触发，使其潜在表示与真实数据样本对齐，从而看起来合法？
• RQ4 即使触发生成准确率较低，隐蔽攻击在低维子空间中仍能在多大程度上成功？
• RQ5 哪些模型设计与部署实践能有效减轻此类隐蔽攻击的风险？

主要发现

• 随着模型潜在空间维度的增加，成功隐蔽攻击的概率趋近于1，即使扰动极小，表明此类攻击在高维模型中具有不可避免性。
• 单神经元攻击在理论上和实证上均可行：仅修改单个神经元的权重和偏置，即可在触发输入上完全控制模型输出，同时保持验证集性能不变。
• 当攻击者对触发设计控制有限时，只要触发的潜在表示位于包含验证集表示的球体内，攻击成功概率仍极高。
• 通过算法2可成功构建伪装触发——即潜在表示接近真实数据点的触发——从而实现隐蔽后门部署。
• 理论边界（定理1和2）表明，成功概率对触发生成的中等程度不准确具有鲁棒性，尤其在高维空间中表现更优。
• 过参数化和潜在空间的高内在维度是隐蔽攻击的关键促成因素，因此模型剪枝和降维是有效的防御策略。

Figure 2: Stealth attack implementation patterns. Red open circles indicate changes. In Scenarios $1$ and $3$ neuron(s) are added. In Scenario $2$ , a one neuron attack, the weights and biases of an existing neuron are replaced with new values. Grey boxes show a part of the network modelled by the m