[论文解读] Run-Off Election: Improved Provable Defense against Data Poisoning Attacks

Keivan Rezaei, Kiarash Banihashem+2 more|arXiv (Cornell University)|Feb 5, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出了一种名为运行淘汰选举（Run-Off Election, ROE）的新颖两轮集成聚合方法，通过在两个最高预测类别之间的淘汰赛中利用所有基模型的logits，提升了对数据投毒攻击的可证明防御能力。ROE扩大了认证鲁棒性差距，在认证准确率上最高提升4%，并在点对点认证鲁棒性方面建立了新的最先进水平——即使训练计算量减少32倍，仍优于先前方法。

ABSTRACT

In data poisoning attacks, an adversary tries to change a model's prediction by adding, modifying, or removing samples in the training data. Recently, ensemble-based approaches for obtaining provable defenses against data poisoning have been proposed where predictions are done by taking a majority vote across multiple base models. In this work, we show that merely considering the majority vote in ensemble defenses is wasteful as it does not effectively utilize available information in the logits layers of the base models. Instead, we propose Run-Off Election (ROE), a novel aggregation method based on a two-round election across the base models: In the first round, models vote for their preferred class and then a second, Run-Off election is held between the top two classes in the first round. Based on this approach, we propose DPA+ROE and FA+ROE defense methods based on Deep Partition Aggregation (DPA) and Finite Aggregation (FA) approaches from prior work. We evaluate our methods on MNIST, CIFAR-10, and GTSRB and obtain improvements in certified accuracy by up to 3%-4%. Also, by applying ROE on a boosted version of DPA, we gain improvements around 12%-27% comparing to the current state-of-the-art, establishing a new state-of-the-art in (pointwise) certified robustness against data poisoning. In many cases, our approach outperforms the state-of-the-art, even when using 32 times less computational power.

研究动机与目标

• 解决现有集成防御方法中忽略非前两名类别预测的问题，避免浪费基模型logits中的宝贵信息。
• 通过增强预测类别与第二名类别之间的鲁棒性差距，强化对数据投毒攻击的可证明证书。
• 开发一种可泛化的聚合框架，在不增加训练成本的前提下，提升确定性和随机性集成方法的性能。
• 在MNIST、CIFAR-10和GTSRB基准上，建立点对点认证鲁棒性对抗数据投毒攻击的新最先进水平。

提出的方法

• 提出双轮选举机制：第一轮中，每个基模型为其最高预测类别投票；第二轮中，仅第一轮中排名前两位的类别参与竞争，模型根据其logits层得分进行投票。
• 在淘汰赛轮次中使用所有基模型的logits，以增大预测类别与第二名之间的边际，从而增强鲁棒性。
• 为ROE开发统一的证书计算框架，扩展先前工作以处理双轮投票机制下更复杂的对手行为。
• 将ROE集成到现有防御框架中：基于深度划分聚合（DPA）的DPA+ROE，以及基于有限聚合（FA）的FA+ROE。
• 提出一种增强变体DPA*，灵感来自一位匿名审稿人，并将其与ROE结合以进一步提升性能。
• 形式化ROE下对手的最优攻击策略，并推导出改变预测所需中毒样本数的下界。

Figure 1 : An example illustrating our proposed method (Run-off Election) . Training dataset is partitioned into 7 parts ( $d_{1},d_{2},...,d_{7}$ ) and $7$ separate classifiers are trained on each part ( $f_{1},f_{2},...,f_{7}$ ). At test time, after giving the input to the classifiers, we obtain t

实验结果

研究问题

• RQ1 是否可以通过利用所有基模型完整logits信息的双轮投票机制，提升基于集成的数据投毒防御中的认证鲁棒性差距？
• RQ2 在不同对手预算下，ROE与标准多数票聚合在鲁棒性和计算效率方面相比如何？
• RQ3 ROE能否泛化应用于确定性和随机性集成方法，同时保持或改善认证保证？
• RQ4 ROE在不同数据集和模型架构下对干净准确率和认证准确率的影响如何？
• RQ5 在保持或提升最先进认证鲁棒性的同时，ROE在多大程度上可降低训练成本？

主要发现

• 与标准多数票聚合相比，ROE在MNIST、CIFAR-10和GTSRB上将认证准确率最高提升了4%。
• DPA+ROE在点对点认证鲁棒性方面达到新的最先进水平，即使训练计算量仅为先前方法的1/32，仍表现更优。
• FA+ROE和DPA*+ROE的认证准确率比当前最先进方法高出12%–27%，证明了ROE与增强基模型或分区方案结合的有效性。
• 在高对手预算下，ROE仍保持强劲性能，其在CIFAR-10上的认证分数比FA高出5%，而FA在大预算下性能显著下降。
• 由于涉及所有模型参与预测，ROE略微降低了干净准确率，但其显著增强的鲁棒性保证有效抵消了这一影响。
• ROE在理论上比多数票更鲁棒：在示例情况下，对手至少需要两个中毒样本才能改变预测结果，而多数票只需一个。