[论文解读] On the Effectiveness of Defensive Distillation

Nicolas Papernot, Patrick McDaniel|arXiv (Cornell University)|Jul 18, 2016

Adversarial Robustness in Machine Learning参考文献 7被引用 58

一句话总结

本文评估了防御蒸馏在对抗样本防御中的有效性，不仅针对基于雅可比矩阵的迭代攻击，还针对快速梯度符号法（FGSM）。通过使用高温度训练蒸馏神经网络并使用软标签重新训练，该方法在 T=100 时将 FGSM 攻击成功率降低至 1.5% 以下，展现出对多种攻击类型的鲁棒性。

ABSTRACT

We report experimental results indicating that defensive distillation successfully mitigates adversarial samples crafted using the fast gradient sign method, in addition to those crafted using the Jacobian-based iterative attack on which the defense mechanism was originally evaluated.

研究动机与目标

• 评估防御蒸馏是否不仅对基于雅可比矩阵的迭代攻击有效，也能缓解使用快速梯度符号法（FGSM）生成的对抗样本。
• 研究蒸馏过程中温度缩放对深度神经网络抵御 FGSM 攻击鲁棒性的影响。
• 提供与原始防御蒸馏论文互补的实验结果，将其评估范围扩展到更广泛的对抗攻击类型。
• 确定蒸馏模型是否能在显著降低对 FGSM 生成的对抗样本脆弱性的同时，保持高准确率。

提出的方法

• 使用标准交叉熵损失和硬标签（one-hot 编码的类别标签）在 MNIST 上训练一个基础深度神经网络。
• 对基础网络的 softmax 层应用高于 1 的温度 T，为每个训练样本生成类别上的软概率分布。
• 将基础网络的软标签预测结果作为第二阶段蒸馏神经网络的新训练标签，该网络在相同输入数据上进行训练。
• 使用相同的高温度 T 训练蒸馏网络，然后在推理阶段将 T 设为 1，以生成置信的硬预测。
• 对每个测试样本应用快速梯度符号法（FGSM），ε=0.3，生成对抗样本，并在蒸馏模型和基线模型上评估攻击成功率。
• 系统性地将温度 T 从 1 变化到 100，并测量蒸馏模型在 FGSM 攻击下的成功率。

实验结果

研究问题

• RQ1 防御蒸馏是否能有效降低在 MNIST 数据集上通过快速梯度符号法（FGSM）生成的对抗样本的成功率？
• RQ2 防御蒸馏中的温度参数 T 如何影响模型对 FGSM 攻击的鲁棒性？
• RQ3 防御蒸馏是否能从原本针对基于雅可比矩阵的迭代攻击的验证，推广到其他对抗攻击方法（如 FGSM）？
• RQ4 蒸馏模型是否能在显著降低对 FGSM 生成的对抗样本脆弱性的同时，保持高干净准确率？

主要发现

• 未使用蒸馏的基线模型在测试集上达到 99.51% 的准确率，且在 ε=0.3 时被 FGSM 攻击的成功率达到 88.03%。
• 在温度 T=100 时，防御蒸馏将 MNIST 数据集上的 FGSM 攻击成功率降低至 1.5% 以下。
• 随着蒸馏过程中温度 T 的升高，FGSM 攻击的成功率单调下降，表明鲁棒性得到提升。
• 防御蒸馏有效缓解了使用快速梯度符号法和基于雅可比矩阵的迭代攻击生成的对抗样本，展现出广谱防御能力。