[论文解读] Robustness to Adversarial Examples through an Ensemble of Specialists

Mahdieh Abbasi, Christian Gagné|arXiv (Cornell University)|Feb 22, 2017

Adversarial Robustness in Machine Learning被引用 18

一句话总结

该论文提出了一种 specialist+1 集成方法，通过在从对抗性混淆矩阵中提取的易混淆类别子集上训练专用 CNN，提升对对抗性样本的鲁棒性，采用一种拒绝低置信度预测的投票机制。该方法通过将误分类样本转移至低置信度，显著降低对抗性错误率，同时在最优阈值下保持干净样本的准确率，实现有效拒绝。

ABSTRACT

We are proposing to use an ensemble of diverse specialists, where speciality is defined according to the confusion matrix. Indeed, we observed that for adversarial instances originating from a given class, labeling tend to be done into a small subset of (incorrect) classes. Therefore, we argue that an ensemble of specialists should be better able to identify and reject fooling instances, with a high entropy (i.e., disagreement) over the decisions in the presence of adversaries. Experimental results obtained confirm that interpretation, opening a way to make the system more robust to adversarial examples through a rejection mechanism, rather than trying to classify them properly at any cost.

研究动机与目标

• 解决深度神经网络对人类难以察觉但导致误分类的对抗性样本的脆弱性问题。
• 克服对抗性训练的局限性，后者常损害干净样本准确率，且对未见过的对抗类型无效。
• 将对抗性样本检测建模为开放集识别问题，即未知或欺骗性输入应被拒绝而非误分类。
• 通过构建基于对抗性混淆模式衍生的类别子集训练的专家集合，提升对欺骗性样本的检测能力，从而增强鲁棒性。

提出的方法

• 专家在从快速梯度符号（FGS）对抗样本的混淆矩阵中提取的类别子集上进行训练，每个子集覆盖某一类别至少 80% 的混淆情况。
• 基于混淆矩阵的子集选择方法，为每个原始类别识别出‘易混淆目标’类别（U_i）和剩余类别（U_{i+K}）。
• 集成模型包含 K 个专家（每个类别一个），每个专家仅在其分配的类别子集上训练，外加一个在所有类别上训练的一般化 CNN。
• 投票机制计算最终预测：若某一类别获得最大期望票数（K+1），则仅使用其关联的专家和一般化模型；否则，所有模型均参与投票。
• 使用置信度阈值拒绝低置信度预测——尤其针对对抗性样本——从而降低错误率。
• 该方法利用投票过程中的模型分歧（高熵）作为对抗性输入检测的信号，实现拒绝而非误分类。

实验结果

研究问题

• RQ1 与标准 CNN 和纯集成模型相比，基于混淆矩阵衍生类别子集训练的专家集成模型是否能显著提升对对抗性样本的鲁棒性？
• RQ2 所提出的基于置信度拒绝的投票机制是否能有效检测并拒绝对抗性输入，同时保持干净样本的准确率？
• RQ3 在 MNIST 和 CIFAR-10 数据集上，该 specialist+1 集成模型在多种对抗类型（如 FGS、DeepFool、Szegedy）下，错误率降低的程度如何？
• RQ4 拒绝机制在基于预测置信度区分对抗性样本与干净样本方面表现如何？
• RQ5 该方法是否能检测到难以识别的对抗样本（如 FGS 和 DeepFool 生成的样本），而这些样本在先前方法中常被遗漏？

主要发现

• 与 naive CNN* 和纯集成模型相比，specialist+1 集成模型显著降低了对抗性错误率（E_A），尤其在置信度阈值 τ = 0.5 时，得益于对低置信度对抗性预测的有效拒绝。
• 在 τ = 0.5 时，FGS 和 DeepFool 对抗样本的错误率在 specialist+1 集成模型中急剧下降，表明大多数被误分类的对抗样本已被转移至低置信度并被拒绝。
• 在 specialist+1 模型中，对抗样本的拒绝率在 τ = 0.5 附近迅速上升，达到较高水平，而纯集成模型的拒绝率则呈现缓慢且单调的上升趋势。
• 在 τ = 0.5 时，干净样本错误率（E_D）略有上升，因部分高置信度干净样本被拒绝，但该权衡可通过提高阈值得以缓解。
• Szegedy 对抗样本在模型间泛化性较差，而 specialist+1 集成模型在 τ > 0.5 后保持稳定性能，E_A 增幅极小，表明对可迁移攻击具有强鲁棒性。
• 即使在对抗样本难以检测的情况下（如 FGS 和 DeepFool 生成的样本），该方法仍能成功检测并拒绝，优于先前在这些情况下失效的方法。