[论文解读] PerD: Perturbation Sensitivity-based Neural Trojan Detection Framework on NLP Applications

Diego Garcia-soto, Huili Chen+1 more|arXiv (Cornell University)|Aug 8, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出 PerD，一种用于 NLP 应用的模型级神经后门检测框架，通过注入鲁棒性感知扰动（RAP）来分析模型对扰动的敏感性，从而提取模型响应特征。该框架利用基于这些特征训练的元分类器，在情感分类、命名实体识别（NER）和问答（QA）任务中实现高精度检测，最高在 TrojAI 数据集上达到 100% AUC，并支持轻量级黑盒变体，采用放松的 RAP 触发器，显著缩短检测时间，同时保持高性能。

ABSTRACT

Deep Neural Networks (DNNs) have been shown to be susceptible to Trojan attacks. Neural Trojan is a type of targeted poisoning attack that embeds the backdoor into the victim and is activated by the trigger in the input space. The increasing deployment of DNNs in critical systems and the surge of outsourcing DNN training (which makes Trojan attack easier) makes the detection of Trojan attacks necessary. While Neural Trojan detection has been studied in the image domain, there is a lack of solutions in the NLP domain. In this paper, we propose a model-level Trojan detection framework by analyzing the deviation of the model output when we introduce a specially crafted perturbation to the input. Particularly, we extract the model's responses to perturbed inputs as the `signature' of the model and train a meta-classifier to determine if a model is Trojaned based on its signature. We demonstrate the effectiveness of our proposed method on both a dataset of NLP models we create and a public dataset of Trojaned NLP models from TrojAI. Furthermore, we propose a lightweight variant of our detection method that reduces the detection time while preserving the detection rates.

研究动机与目标

• 为应对 NLP 模型中日益增长的后门攻击威胁，特别是模型训练外包趋势下的安全风险。
• 开发一种无需访问模型参数或输入触发器的模型级检测方法，以识别后门。
• 实现在情感分类、命名实体识别（NER）和问答等多样化 NLP 任务中的有效检测。
• 通过采用放松 RAP 触发器的轻量级变体，降低检测时间，同时保持高检测率。
• 为防御者提供指导，根据不同模型架构间直方图分布的相似性，选择使用架构无关或架构特定的元分类器。

提出的方法

• 该框架将鲁棒性感知扰动（RAP）注入输入样本，以引发模型响应的偏离，形成模型对扰动敏感性的特征。
• 通过构建多个扰动输入下置信度分数偏离的直方图，表示模型的响应特征。
• 训练一个元分类器，基于其响应特征区分良性模型与后门模型。
• 通过引入公开数据集（如 IMDB、Squad_v2）的输入进行数据增强，以提升特征质量与检测精度。
• 轻量级变体将优化的 RAP 触发器替换为随机噪声模式，实现无需访问模型参数的黑盒操作。
• 该方法支持架构无关与架构特定的元分类器，其选择依据不同模型架构间直方图相似性进行指导。

实验结果

研究问题

• RQ1 是否可以有效利用扰动敏感性，在无需访问模型参数或输入触发器的前提下检测 NLP 模型中的神经后门？
• RQ2 使用公开数据集进行数据增强，如何提升模型响应特征的精度以用于后门检测？
• RQ3 与优化 RAP 触发器相比，使用放松 RAP 触发器在检测精度与效率之间存在何种权衡？
• RQ4 在何种条件下，架构无关的元分类器在检测后门方面优于架构特定的元分类器？
• RQ5 不同 NLP 模型架构之间的响应偏离直方图分布有何差异？这种差异如何影响元分类器的设计？

主要发现

• 在 TrojAI 情感分类数据集上，PerD 使用架构特定的元分类器与 RAP 触发器，实现了 95.8% 的准确率和 100% 的 AUC。
• 采用放松 RAP 触发器的轻量级变体显著缩短了检测时间，同时保持高性能，在同一任务上达到 94.9% 的准确率和 100% 的 AUC。
• 使用 IMDB 等公开数据集进行数据增强，提升了检测性能，尤其在结合 RAP 基特征时效果更显著。
• 对于问答模型，架构无关的元分类器优于架构特定的版本，因为其响应直方图在不同架构间高度相似。
• 在命名实体识别任务中，架构特定的元分类器优于架构无关版本，表明不同模型类型间直方图分布存在显著差异。
• 本研究提供了实证指导：当不同架构间的直方图分布不同时，应使用架构特定的元分类器；否则，统一的元分类器表现更优。