[论文解读] NTD: Non-Transferability Enabled Backdoor Detection

Yinshan Li, Hua Ma+7 more|arXiv (Cornell University)|Nov 22, 2021

Adversarial Robustness in Machine Learning参考文献 38被引用 4

一句话总结

NTD 提出了一种轻量级、用户友好的在线后门检测方法，利用后门触发器的固有非迁移性，在推理阶段检测恶意输入。通过使用私有的、预训练的特征提取器，将输入特征与同一预测类别下良性样本的特征进行比较，NTD 在计算开销极小、无需机器学习专业知识或训练数据访问的情况下，实现了高检测准确率。

ABSTRACT

A backdoor deep learning (DL) model behaves normally upon clean inputs but misbehaves upon trigger inputs as the backdoor attacker desires, posing severe consequences to DL model deployments. State-of-the-art defenses are either limited to specific backdoor attacks (source-agnostic attacks) or non-user-friendly in that machine learning (ML) expertise or expensive computing resources are required. This work observes that all existing backdoor attacks have an inevitable intrinsic weakness, non-transferability, that is, a trigger input hijacks a backdoored model but cannot be effective to another model that has not been implanted with the same backdoor. With this key observation, we propose non-transferability enabled backdoor detection (NTD) to identify trigger inputs for a model-under-test (MUT) during run-time.Specifically, NTD allows a potentially backdoored MUT to predict a class for an input. In the meantime, NTD leverages a feature extractor (FE) to extract feature vectors for the input and a group of samples randomly picked from its predicted class, and then compares similarity between the input and the samples in the FE's latent space. If the similarity is low, the input is an adversarial trigger input; otherwise, benign. The FE is a free pre-trained model privately reserved from open platforms. As the FE and MUT are from different sources, the attacker is very unlikely to insert the same backdoor into both of them. Because of non-transferability, a trigger effect that does work on the MUT cannot be transferred to the FE, making NTD effective against different types of backdoor attacks. We evaluate NTD on three popular customized tasks such as face recognition, traffic sign recognition and general animal classification, results of which affirm that NDT has high effectiveness (low false acceptance rate) and usability (low false rejection rate) with low detection latency.

研究动机与目标

• 解决现有后门防御方法的局限性，这些方法要么针对特定触发器类型，要么需要高超的机器学习专业知识和计算资源。
• 开发一种实用、用户友好的防御机制，可在推理阶段运行，且无需访问训练数据或模型权重。
• 利用后门攻击中固有的非迁移性特性，有效检测各类不同后门类型的触发输入。
• 实现实时检测，延迟低、准确率高，适用于人脸识别和自动驾驶等安全敏感型应用。

提出的方法

• NTD 使用来自可信来源的私有预训练特征提取器（FE），从输入样本中提取潜在特征。
• 对于给定输入，NTD 计算其在 FE 的潜在空间中与同一预测类别下随机采样的良性样本之间的特征相似度。
• 如果输入与良性样本之间的相似度较低，则将该输入分类为触发输入；否则视为良性输入。
• 该方法依赖于非迁移性特性：在待测模型（MUT）上有效的触发器，不会在独立训练且未被后门化的 FE 上生效。
• 为降低在线延迟，NTD 在离线阶段预先计算并缓存验证集的所有特征向量。
• 检测机制支持全局阈值和每类阈值，后者可增强对高风险目标类别的保护。

实验结果

研究问题

• RQ1 一种后门检测方法是否能在不访问训练数据或模型权重的情况下，有效检测触发输入？
• RQ2 是否可以利用后门触发器的非迁移性，构建一种对触发器类型和后门类型均无关的检测机制？
• RQ3 是否可能设计一种轻量级、在线检测系统，无需机器学习专业知识且计算开销极小？
• RQ4 NTD 的检测性能与现有防御方法相比，在误接受率（FAR）和误拒绝率（FRR）方面表现如何？

主要发现

• NTD 在多个任务中均实现了低误接受率（FAR），表明其在检测后门输入方面具有高度有效性。
• 该方法保持了较低的误拒绝率（FRR），展现出对干净输入的强大鲁棒性。
• NTD 在线检测延迟较低，因为特征向量已预先从验证集计算并缓存。
• 检测机制对触发器类型和后门类型均保持无关性，包括源无关和源特定攻击。
• NTD 在可用性方面优于现有防御方法，无需机器学习专业知识、无需训练，也无需访问训练数据。
• 使用可信且独立的特征提取器，确保 FE 不受 MUT 中后门的影响，从而实现可靠的检测。