[论文解读] SentiNet: Detecting Localized Universal Attacks Against Deep Learning Systems

Chou Edward, Tramer Florian+1 more|arXiv (Cornell University)|Dec 1, 2018

Adversarial Robustness in Machine Learning被引用 8

一句话总结

SentiNet 是一种新颖的、与攻击无关的防御框架，通过利用模型可解释性和目标检测来识别显著图像区域，进而验证其在干净图像上的误分类潜力，从而检测局部化通用对抗性攻击（如物理贴纸、后门模型和数据 poisoning）。该方法在无需事先了解攻击方式或重新训练模型的情况下，实现了高检测准确率。

ABSTRACT

SentiNet is a novel detection framework for localized universal attacks on neural networks. These attacks restrict adversarial noise to contiguous portions of an image and are reusable with different images -- constraints that prove useful for generating physically-realizable attacks. Unlike most other works on adversarial detection, SentiNet does not require training a model or preknowledge of an attack prior to detection. Our approach is appealing due to the large number of possible mechanisms and attack-vectors that an attack-specific defense would have to consider. By leveraging the neural network's susceptibility to attacks and by using techniques from model interpretability and object detection as detection mechanisms, SentiNet turns a weakness of a model into a strength. We demonstrate the effectiveness of SentiNet on three different attacks -- i.e., data poisoning attacks, trojaned networks, and adversarial patches (including physically realizable attacks) -- and show that our defense is able to achieve very competitive performance metrics for all three threats. Finally, we show that SentiNet is robust against strong adaptive adversaries, who build adversarial patches that specifically target the components of SentiNet's architecture.

研究动机与目标

• 解决在无需事先了解攻击向量的情况下，防御深度神经网络中多样化、可物理实现的对抗性攻击的挑战。
• 克服基于签名和攻击特定的防御方法在面对新型或自适应攻击时的局限性。
• 开发一种检测机制，利用模型固有的漏洞——特别是对抗性区域的鲁棒性与泛化能力——作为检测信号。
• 确保即使攻击者自适应地针对系统的检测组件，该防御仍保持有效性。
• 实现实时、可部署的检测，适用于实际应用场景中的受 compromised 与未受 compromised 模型。

提出的方法

• 使用类激活映射（CAM）及其他模型可解释性技术，识别输入图像中对分类决策有显著影响的连续显著区域。
• 应用目标检测方法定位这些高显著性区域，将其与具有影响力但无害的特征区分开来。
• 将每个检测到的显著区域叠加到大量保留的干净图像上，并评估目标分类器在这些图像上的误分类频率。
• 若某一区域在显著高于无害区域的干净图像上引发误分类，则将其分类为对抗性区域。
• 设计检测流程，使其独立于具体攻击机制，仅依赖于攻击的通用性与局部化特性。
• 将检测过程集成到推理流水线中，实现实时、低延迟运行，无需模型微调。

实验结果

研究问题

• RQ1 防御机制是否能在不事先了解攻击向量或重新训练模型的情况下，检测到局部化通用对抗性攻击？
• RQ2 基于显著性的检测结合泛化测试，是否能有效区分恶意与无害的高影响力图像区域？
• RQ3 SentiNet 对自适应攻击者（其攻击专门设计以规避检测组件）的鲁棒性如何？
• RQ4 SentiNet 是否能检测到在现实世界中部署的物理可实现对抗性贴纸？
• RQ5 SentiNet 在根本不同的攻击类型（如数据 poisoning、后门攻击和对抗性贴纸）上是否保持高检测性能？

主要发现

• SentiNet 在三种不同攻击类型（数据 poisoning、后门网络和对抗性贴纸，包括物理可实现的贴纸）上均实现了高检测准确率。
• 该框架在真实物理环境中成功检测到打印的对抗性贴纸，表现出高度的可靠性，证明了其实际可部署性。
• 即使在强自适应攻击下，攻击者专门针对 SentiNet 的架构组件设计攻击，该防御仍保持有效，因为降低显著性会破坏攻击的通用性。
• SentiNet 无需模型重新训练或事先了解攻击，因此可应用于现有、可能已被 compromised 的模型。
• 由于其针对的攻击区域具有通用性，该检测机制对视角、光照和图像内容的变化具有鲁棒性。
• 该方法将模型对对抗性样本的敏感性转化为检测优势，利用模型固有行为作为安全原 primitive。