[论文解读] SPECTRE: Defending Against Backdoor Attacks Using Robust Statistics

Jonathan Hayase, Weihao Kong+2 more|arXiv (Cornell University)|Apr 22, 2021

Adversarial Robustness in Machine Learning参考文献 51被引用 12

一句话总结

SPECTRE 通过使用鲁棒协方差估计和白化技术放大中毒数据的谱特征，提出了一种对后门攻击具有鲁棒性的防御方法，即使在先前方法失效的低中毒率场景下，也能有效检测并清除后门。该方法在多种攻击类型下实现了完全的后门清除，显著优于当前最先进防御方法。

ABSTRACT

Modern machine learning increasingly requires training on a large collection of data from multiple sources, not all of which can be trusted. A particularly concerning scenario is when a small fraction of poisoned data changes the behavior of the trained model when triggered by an attacker-specified watermark. Such a compromised model will be deployed unnoticed as the model is accurate otherwise. There have been promising attempts to use the intermediate representations of such a model to separate corrupted examples from clean ones. However, these defenses work only when a certain spectral signature of the poisoned examples is large enough for detection. There is a wide range of attacks that cannot be protected against by the existing defenses. We propose a novel defense algorithm using robust covariance estimation to amplify the spectral signature of corrupted data. This defense provides a clean model, completely removing the backdoor, even in regimes where previous methods have no hope of detecting the poisoned examples. Code and pre-trained models are available at https://github.com/SewoongLab/spectre-defense .

研究动机与目标

• 解决现有防御方法在仅少量数据点被中毒时失效的关键缺陷。
• 提升在谱特征微弱或与主成分不匹配场景下对后门样本的检测能力。
• 开发一种鲁棒且通用的防御框架，适用于多种后门攻击类型与强度。
• 确保完全清除后门，同时不损害干净数据的准确率。

提出的方法

• 使用鲁棒统计估计器估计干净数据的均值与协方差，以减少中毒样本的污染影响。
• 利用鲁棒估计的协方差对训练数据的中间表示进行白化，以放大干净样本与中毒样本之间的谱差异。
• 对白化后的表示应用鲁棒主成分分析（PCA），以识别与中毒与干净数据分离方向对齐的主成分。
• 采用一种新颖的异常值评分方法——量子熵（QUE），根据样本偏离干净子空间的程度进行排序。
• 移除得分最高的样本（即 QUE 分数最高的样本），在微调前过滤出中毒数据。
• 在过滤后的数据上重新训练模型，以生成无后门的干净模型。

实验结果

研究问题

• RQ1 在低中毒率场景下，鲁棒协方差估计是否能有效放大中毒数据的谱特征？
• RQ2 鲁棒白化是否能提升主成分方向与真实数据分离方向的对齐程度？
• RQ3 单一防御框架是否能泛化于多种后门攻击类型与强度？
• RQ4 异常值评分方法的选择如何影响不同攻击条件下的检测性能？
• RQ5 SPECTRE 在后门清除能力与干净数据准确率方面，相较于现有防御方法的优越程度如何？

主要发现

• SPECTRE 在所有测试场景中成功清除了后门，包括先前方法（如 PCA）失效的场景（例如 CIFAR-10 中 125 个中毒样本）。
• 重新训练后攻击准确率为 0%，表明即使中毒样本数量低至 64 个，也能实现完全的后门清除。
• 鲁棒白化显著提升了主成分方向与真实数据分离方向的对齐程度，从而实现可靠的检测。
• QUE 异常值评分在多种攻击类型（包括单向与三向像素攻击）下均优于标准平方范数与投影范数评分方法。
• 消融实验证实，鲁棒估计、白化与 QUE 评分三个组件对防御成功均不可或缺。
• 该方法对移除样本数量的变化具有鲁棒性，在不同移除阈值下均保持高性能。