[论文解读] Practical Detection of Trojan Neural Networks: Data-Limited and Data-Free Cases

Ren Wang, Gaoyuan Zhang+4 more|arXiv (Cornell University)|Jul 31, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 20

一句话总结

本文提出了两种新型后门神经网络检测方法：数据受限型TND（DL-TND）和无数据型TND（DF-TND），仅通过模型权重和极少或无需数据即可检测后门。DL-TND利用少量干净验证样本上的对抗性攻击模式（逐样本和全样本通用模式），而DF-TND则通过分析神经元对随机噪声输入的激活响应来检测后门，在多种模型和数据集上实现了0.99的AUROC。

ABSTRACT

When the training data are maliciously tampered, the predictions of the acquired deep neural network (DNN) can be manipulated by an adversary known as the Trojan attack (or poisoning backdoor attack). The lack of robustness of DNNs against Trojan attacks could significantly harm real-life machine learning (ML) systems in downstream applications, therefore posing widespread concern to their trustworthiness. In this paper, we study the problem of the Trojan network (TrojanNet) detection in the data-scarce regime, where only the weights of a trained DNN are accessed by the detector. We first propose a data-limited TrojanNet detector (TND), when only a few data samples are available for TrojanNet detection. We show that an effective data-limited TND can be established by exploring connections between Trojan attack and prediction-evasion adversarial attacks including per-sample attack as well as all-sample universal attack. In addition, we propose a data-free TND, which can detect a TrojanNet without accessing any data samples. We show that such a TND can be built by leveraging the internal response of hidden neurons, which exhibits the Trojan behavior even at random noise inputs. The effectiveness of our proposals is evaluated by extensive experiments under different model architectures and datasets including CIFAR-10, GTSRB, and ImageNet.

研究动机与目标

• 解决在无法访问训练数据或数据受限情况下面临的后门神经网络检测挑战。
• 开发一种在温和假设下运行的检测框架：数据有限、无需触发模式知识，且适用于多种模型架构和攻击类型。
• 实现在现实部署场景中实用的后门检测，这些场景因数据隐私或访问限制而无法使用完整数据集。
• 克服先前方法依赖大量训练数据、触发模式恢复或模型微调的局限性。
• 为数据受限和无数据检测提供统一的邻近优化框架。

提出的方法

• 通过利用后门攻击与两类对抗性攻击（逐样本对抗攻击和全样本通用对抗攻击）之间的关联，设计DL-TND。
• 在仅提供少量干净验证样本（每类一个）的数据受限场景中，使用对抗性攻击生成的输入扰动作为检测信号。
• 开发DF-TND，通过分析神经元对随机噪声输入的激活模式，在无需任何数据样本的情况下检测后门，从而揭示隐藏的后门行为。
• 利用隐藏神经元的内部响应——特别是其对触发模式的敏感性，即使在随机输入下也能识别后门存在。
• 将两种检测器统一纳入邻近优化框架，以确保检测模型训练的稳定性和高效性。
• 使用少量干净验证样本（DL-TND）或随机噪声（DF-TND）训练检测模型，避免依赖原始训练数据。

实验结果

研究问题

• RQ1 当仅能获得少量干净验证样本时，能否可靠检测后门神经网络？
• RQ2 能否在不访问任何训练或验证数据的情况下，仅依靠模型权重和内部神经元响应检测后门网络？
• RQ3 该检测框架在多种模型架构（如VGG16、ResNet-50、AlexNet）和数据集（CIFAR-10、GTSRB、ImageNet）上的有效性如何？
• RQ4 所提出方法能否在不了解触发模式的前提下检测多种后门攻击类型，包括无标签攻击？
• RQ5 检测性能如何随不同的中毒比例和攻击成功率变化？

主要发现

• DL-TND在多个数据集和模型架构上平均AUROC达到0.99，即使每类仅有一个干净样本也表现优异。
• DF-TND仅使用随机噪声作为输入，即实现0.99 AUROC，表明后门行为被编码在神经元激活模式中，且与输入数据无关。
• 在攻击成功率低至30%、中毒比例仅为0.5%的情况下，DL-TND和DF-TND的检测性能均保持在高水平（AUROC ≥ 0.99）。
• 在低数据环境下（55个模型中仅5个被中毒），两种检测器在精确率-召回率曲线上AUC为0.97，在ROC曲线上AUC为0.99。
• DF-TND在无标签攻击下成功检测到TrojanNets，AUROC达0.92，即使无触发模式或训练数据可用。
• 该方法表明，可通过随机噪声输入下神经元响应重建触发模式，证实后门行为被编码在模型内部表征中。