[论文解读] On the Power of Abstention and Data-Driven Decision Making for Adversarial Robustness

Nina Balcan, Avrim Blum+2 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用 6

一句话总结

本文提出了一种新颖的对抗鲁棒性框架，通过在非Lipschitz神经网络中引入拒绝预测机制，并将攻击限制在低维子空间内。该框架证明了在这些攻击下，拒绝预测的分类器在理论上比不拒绝预测的分类器更具鲁棒性，同时提出了一种数据驱动的方法来优化准确率-拒绝率权衡，具有理论保证，在监督学习和自监督对比学习设置下均实现了高鲁棒准确率。

ABSTRACT

We formally define a feature-space attack where the adversary can perturb datapoints by arbitrary amounts but in restricted directions. By restricting the attack to a small random subspace, our model provides a clean abstraction for non-Lipschitz networks which map small input movements to large feature movements. We prove that classifiers with the ability to abstain are provably more powerful than those that cannot in this setting. Specifically, we show that no matter how well-behaved the natural data is, any classifier that cannot abstain will be defeated by such an adversary. However, by allowing abstention, we give a parameterized algorithm with provably good performance against such an adversary when classes are reasonably well-separated in feature space and the dimension of the feature space is high. We further use a data-driven method to set our algorithm parameters to optimize over the accuracy vs. abstention trade-off with strong theoretical guarantees. Our theory has direct applications to the technique of contrastive learning, where we empirically demonstrate the ability of our algorithms to obtain high robust accuracy with only small amounts of abstention in both supervised and self-supervised settings. Our results provide a first formal abstention-based gap, and a first provable optimization for the induced trade-off in an adversarial defense setting.

研究动机与目标

• 形式化一种特征空间对抗攻击模型，其中扰动被限制在小的随机子空间内，从而能够分析非Lipschitz网络的行为。
• 证明无论数据分布如何，不具备拒绝能力的分类器在该类攻击下均被可证明地脆弱。
• 设计一种参数化的拒绝预测分类器，当高维特征空间中类别充分分离时，可实现可证明的良好性能。
• 开发一种数据驱动的方法，以强理论保证优化准确率与拒绝率之间的权衡。
• 在监督学习和自监督对比学习设置下对方法进行实证验证。

提出的方法

• 形式化一种特征空间攻击，其中攻击者在低维随机子空间内扰动输入，从而能够分析非Lipschitz行为。
• 提出一种参数化的拒绝预测分类器，利用特征空间几何结构和类别分离特性以提升鲁棒性。
• 推导理论保证，表明拒绝机制可实现可证明的鲁棒性，而传统非拒绝模型则无法实现。
• 提出一种数据驱动的参数调优方法，以优化准确率与拒绝率之间的权衡。
• 将该框架应用于对比学习，实证表明在仅产生少量拒绝的情况下，仍能实现高鲁棒准确率。
• 以高维特征空间和类别分离作为关键假设，以确保理论性能边界的成立。

实验结果

研究问题

• RQ1 在非Lipschitz网络的对抗设置下，拒绝预测是否能为分类器提供可证明的鲁棒性优势，相较于不拒绝预测的分类器？
• RQ2 将对抗扰动限制在低维子空间内，对分类器的鲁棒性有何影响？
• RQ3 在该类对抗设置下，准确率与拒绝率之间的最优权衡是什么？如何通过数据驱动方式实现优化？
• RQ4 所提出的框架是否能在自监督对比学习中实现高鲁棒准确率，同时保持极低的拒绝率？
• RQ5 在所定义的攻击模型下，哪些理论条件可确保拒绝预测分类器优于非拒绝预测分类器？

主要发现

• 任何不拒绝预测的分类器，无论数据分布或网络架构如何，均被可证明地易受所定义的子空间攻击影响。
• 当高维特征空间中类别充分分离时，拒绝预测分类器可实现可证明的良好性能。
• 数据驱动的参数调优方法确保了准确率-拒绝率权衡的强理论保证。
• 实证结果表明，在监督学习和自监督对比学习中，仅需极少的拒绝即可实现高鲁棒准确率。
• 该框架首次建立了基于拒绝预测的鲁棒性差距，并首次实现了对抗防御中准确率-拒绝率权衡的可证明优化。