[论文解读] The Taboo Trap: Behavioural Detection of Adversarial Samples

Ilia Shumailov, Yiren Zhao+2 more|arXiv (Cornell University)|Nov 18, 2018

Adversarial Robustness in Machine Learning参考文献 22被引用 10

一句话总结

本文提出了一种轻量级、基于行为的防御机制——Taboo Trap，通过在训练过程中使用可配置的变换函数（例如百分位数裁剪）限制深度神经网络（DNN）的激活行为，以检测对抗性样本。该方法实现近乎零的运行时开销，并能有效检测多种攻击，包括FGSM、PGD和DeepFool，在多个网络架构和变换函数下均表现出色，为资源受限系统（如物联网设备）提供了可扩展的解决方案。

ABSTRACT

Deep Neural Networks (DNNs) have become a powerful toolfor a wide range of problems. Yet recent work has found an increasing variety of adversarial samplesthat can fool them. Most existing detection mechanisms against adversarial attacksimpose significant costs, either by using additional classifiers to spot adversarial samples, or by requiring the DNN to be restructured. In this paper, we introduce a novel defence. We train our DNN so that, as long as it is workingas intended on the kind of inputs we expect, its behavior is constrained, in that some set of behaviors are taboo. If it is exposed to adversarial samples, they will often cause a taboo behavior, which we can detect. Taboos can be both subtle and diverse, so their choice can encode and hide information. It is a well-established design principle that the security of a system should not depend on the obscurity of its design, but on some variable (the key) which can differ between implementations and bechanged as necessary. We discuss how taboos can be used to equip a classifier with just such a key, and how to tune the keying mechanism to adversaries of various capabilities. We evaluate the performance of a prototype against a wide range of attacks and show how our simple defense can defend against cheap attacks at scale with zero run-time computation overhead, making it a suitable defense method for IoT devices.

研究动机与目标

• 解决在计算成本极低的条件下检测深度神经网络中对抗性样本的挑战，尤其适用于物联网设备等低资源环境。
• 克服现有检测方法依赖附加分类器或架构修改所带来的高计算和设计开销的局限性。
• 开发一种在训练过程中利用行为约束的防御机制，实现在推理阶段无需修改网络结构即可检测对抗性输入。
• 通过使用可配置的、类似密钥的变换函数，实现对不同能力对手的适应性，且可按部署需求更改。
• 证明行为约束可作为受密码学启发的防御机制，增强对黑盒和白盒攻击的鲁棒性。

提出的方法

• 在训练过程中对各层激活值进行分析，识别用于行为限制的范围。
• 应用变换函数（例如，裁剪至第n个百分位数）将激活值限制在预定义范围内，形成‘禁忌’行为。
• 使用这些激活约束重新训练DNN，确保正常输入保持在禁忌范围内，而对抗性样本通常会违反该范围。
• 在推理阶段使用检测函数，若任一激活值超出其预期的禁忌范围，则触发警报。
• 采用多样且可配置的变换函数（例如，按层设置的百分位数阈值、多区间裁剪）作为加密密钥，提升防御的不可预测性。
• 在计算预算允许时，可将Taboo Trap与其它防御机制（如MagNet、SafetyNet）结合使用，因其非侵入式集成特性而无需额外运行时开销。

实验结果

研究问题

• RQ1 在DNN训练期间施加的行为约束是否可作为有效且低开销的对抗性样本检测机制？
• RQ2 变换函数的选择（例如，百分位数裁剪）如何影响防御对不同类型对抗性攻击的鲁棒性？
• RQ3 当变换函数保持机密时，Taboo Trap在多大程度上能有效防御黑盒和白盒攻击者？
• RQ4 在训练期间强制执行激活约束是否会影响网络在干净数据上的收敛性或性能？
• RQ5 Taboo Trap是否能与其它防御机制有效结合，且不会引入显著的计算开销？

主要发现

• Taboo Trap实现了近乎零的运行时计算开销，仅带来轻微的训练时间增加，使其非常适合物联网和嵌入式系统。
• 在LeNet5（MNIST）上，该防御对FGSM攻击的检测率可达94–98%，对PGD攻击的检测率为92–61%，对DeepFool攻击的检测率为1–12%，具体取决于所使用的变换函数。
• 不同变换函数（如第1个百分位数、多区间裁剪）表现出不同的防御能力，可针对特定攻击类型进行定制。
• 使用多个可配置的变换函数可作为加密密钥，使防御者能够通过更换密钥（无需重新设计模型）来应对已知攻击。
• 该方法在干净数据上保持了约99%的高准确率，且即使在激活约束下，误报率也低于1%。
• 该方法与现有防御框架兼容，可与更复杂的系统（如MagNet或SafetyNet）结合使用，提升整体安全性，且不增加运行时成本。