[论文解读] Regularisation Can Mitigate Poisoning Attacks: A Novel Analysis Based on Multiobjective Bilevel Optimisation

Javier Carnerero-Cano, Luis Muñoz-González+2 more|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 43被引用 8

一句话总结

本文提出了一种新颖的多目标双层优化框架，用于建模动态调整模型超参数的投毒攻击，揭示了在攻击下通过增强正则化强度，$L_2$ 正则化可提升模型鲁棒性，这与以往的悲观假设相反。该方法使用反向模式微分计算超梯度，并表明 $L_2$ 正则化通过稳定模型参数来缓解攻击影响。

ABSTRACT

Machine Learning (ML) algorithms are vulnerable to poisoning attacks, where a fraction of the training data is manipulated to deliberately degrade the algorithms' performance. Optimal poisoning attacks, which can be formulated as bilevel optimisation problems, help to assess the robustness of learning algorithms in worst-case scenarios. However, current attacks against algorithms with hyperparameters typically assume that these hyperparameters remain constant ignoring the effect the attack has on them. We show that this approach leads to an overly pessimistic view of the robustness of the algorithms. We propose a novel optimal attack formulation that considers the effect of the attack on the hyperparameters by modelling the attack as a multiobjective bilevel optimisation problem. We apply this novel attack formulation to ML classifiers using $L_2$ regularisation and show that, in contrast to results previously reported, $L_2$ regularisation enhances the stability of the learning algorithms and helps to mitigate the attacks. Our empirical evaluation on different datasets confirms the limitations of previous strategies, evidences the benefits of using $L_2$ regularisation to dampen the effect of poisoning attacks and shows how the regularisation hyperparameter increases with the fraction of poisoning points.

研究动机与目标

• 解决先前投毒攻击研究中假设超参数在攻击强度变化时保持固定的局限性。
• 在最坏情况下建模投毒攻击与超参数自适应之间的相互作用。
• 探究当允许在攻击过程中自适应调整时，$L_2$ 正则化是否能缓解投毒攻击。
• 通过考虑恶意数据引起的超参数变化，提供对模型鲁棒性更准确的评估。
• 证明 $L_2$ 正则化在攻击下作为稳定机制发挥作用，随着攻击强度增加而增强正则化强度。

提出的方法

• 将投毒攻击建模为多目标双层优化问题，其中外层目标同时优化投毒样本和模型超参数，内层目标用于训练模型参数。
• 将最坏情况建模为极大极小问题，即攻击者最大化测试误差，而防御者最小化在投毒数据上的损失。
• 使用反向模式微分（RMD）高效近似投毒样本和正则化超参数的超梯度。
• 应用超梯度下降/上升，以可微分的端到端方式联合优化攻击与超参数自适应。
• 在逻辑回归和深度神经网络（DNNs）上评估该框架，使用 ImageNet 及其他数据集，覆盖不同的投毒比例。
• 比较正则化超参数固定与在攻击过程中端到端学习两种情形。

实验结果

研究问题

• RQ1 先前投毒攻击研究中假设超参数固定，这一假设如何导致对模型鲁棒性评估过于悲观？
• RQ2 当正则化超参数可在攻击过程中自适应调整时，$L_2$ 正则化在多大程度上能缓解投毒攻击？
• RQ3 随着攻击强度增加，$L_2$ 正则化超参数的取值如何变化？
• RQ4 在投毒攻击下，模型参数的大小（例如，$||\mathbf{w}_{\text{layer}}||_2^2$）与层的脆弱性之间存在何种关系？
• RQ5 当正则化超参数端到端学习时，模型在干净数据上的准确率与在投毒攻击下的鲁棒性之间存在何种权衡？

主要发现

• 与先前工作如 [38] 不同，$L_2$ 正则化并未增加对投毒攻击的脆弱性；相反，它增强了模型稳定性并缓解了攻击影响。
• 随着投毒样本比例的增加，$L_2$ 正则化超参数也随之增加，表明模型通过增强正则化强度实现自适应，以抵抗攻击引起的不稳定性。
• 对于 ImageNet 上的 DNN，当 $λ = -8$ 且注入 16.6% 的投毒样本时，测试误差上升至 12%，但当 $λ = \log(40)$ 时保持稳定，且在端到端超参数学习下（$λ_{\text{RMD}}$）仅出现适度增加。
• 所学习的正则化超参数在第二层和输出层增加最快，表明深层对投毒攻击更具脆弱性。
• 在攻击下，最后两层的模型参数 $L_2$ 范数显著下降，尤其在正则化固定时，但当 $λ$ 被学习时保持更稳定。
• 在无攻击情况下，$λ_{\text{RMD}}$ 的测试误差低于固定 $λ$ 值，表明端到端超参数学习在干净设置下也能提升性能。