[论文解读] Noise-response Analysis for Rapid Detection of Backdoors in Deep Neural Networks.

N. Benjamin Erichson, Dane Taylor+2 more|arXiv (Cornell University)|Jul 31, 2020

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文提出了一种噪声响应分析方法，通过测量模型对输入噪声的敏感性，快速检测深度神经网络中的后门，生成作为唯一指纹的滴定曲线。该方法在数秒内即可检测后门，比现有方法快几个数量级，同时提供自动化的滴定分数，实现可靠且可扩展的检测。

ABSTRACT

The pervasiveness of deep neural networks (DNNs) in technology, matched with the ubiquity of cloud-based training and transfer learning, is giving rise to a new frontier for cybersecurity whereby `structural malware' is manifest as compromised weights and activation pathways for unsecure DNNs. In particular, DNNs can be designed to have backdoors in which an adversary can easily and reliably fool a classifier by adding to any image a pattern of pixels called a trigger. Since DNNs are black-box algorithms, it is generally difficult to detect a backdoor or any other type of structural malware. To efficiently provide a reliable signal for the absence/presence of backdoors, we propose a rapid feature-generation step in which we study how DNNs respond to noise-infused images with varying noise intensity. This results in titration curves, which are a type of `fingerprinting' for DNNs. We find that DNNs with backdoors are more sensitive to input noise and respond in a characteristic way that reveals the backdoor and where it leads (i.e,. its target). Our empirical results demonstrate that we can accurately detect a backdoor with high confidence orders-of-magnitude faster than existing approaches (i.e., seconds versus hours). Our method also yields a titration-score that can automate the detection of compromised DNNs, whereas existing backdoor-detection strategies are not automated.

研究动机与目标

• 为应对深度神经网络中结构化恶意软件日益增长的威胁，特别是通过受损权重或训练过程引入的后门。
• 克服现有后门检测方法的局限性，这些方法速度慢、非自动化，且依赖侵入性或黑箱分析。
• 开发一种快速、可扩展且自动化的DNN后门检测方法，无需模型内省或访问训练数据。
• 建立一种可靠、基于特征的信号——源自噪声敏感性——以区分后门模型与干净模型。

提出的方法

• 在不同强度下向输入图像注入受控噪声，以探测模型的响应动态。
• 生成滴定曲线，映射模型在噪声水平逐步增加时的输出置信度或激活模式。
• 利用这些滴定曲线的形状和敏感性作为指纹，识别后门的存在及其目标类别。
• 在滴定分数特征上训练简单分类器，以实现在多种模型上的自动化后门检测。
• 利用后门模型对噪声（尤其是触发模式附近）表现出更高敏感性的事实。
• 将该方法作为轻量级的后训练分析步骤应用，无需访问训练数据或模型架构细节。

实验结果

研究问题

• RQ1 噪声响应分析能否可靠地区分后门DNN与干净模型？
• RQ2 DNN对输入噪声的敏感性与后门存在之间是否存在相关性？
• RQ3 滴定曲线能否作为识别后门触发器及其目标的唯一指纹？
• RQ4 与现有手动或启发式方法相比，该方法在多大程度上实现了后门检测的自动化？
• RQ5 与最先进的后门检测技术相比，该方法的检测速度如何？

主要发现

• 后门模型对输入噪声的敏感性显著高于干净模型，尤其是在触发模式附近。
• 从噪声响应分析生成的滴定曲线能以高置信度可靠地区分后门模型与干净模型。
• 该方法在数秒内检测后门，检测时间比现有方法快几个数量级（例如，数小时 vs. 数秒）。
• 所提出的滴定分数实现了完全自动化检测，克服了先前方法依赖人工且不可扩展的缺陷。
• 该方法在多种DNN架构和数据集上均表现稳健，展示了无需模型内省的泛化能力。
• 通过分析滴定曲线的形状和峰值响应，该方法成功识别出后门的目标类别。