[论文解读] Theoretical evidence for adversarial robustness through randomization

Rafaël Pinot, Laurent Meunier+5 more|arXiv (Cornell University)|Feb 4, 2019

Adversarial Robustness in Machine Learning参考文献 49被引用 35

一句话总结

本文提供理论保证，在推理阶段对指数族分布的噪声注入会诱导对抗鲁棒性，并界定对抗泛化差距的上限，通过 CIFAR/ImageNet 实验予以印证。

ABSTRACT

This paper investigates the theory of robustness against adversarial attacks. It focuses on the family of randomization techniques that consist in injecting noise in the network at inference time. These techniques have proven effective in many contexts, but lack theoretical arguments. We close this gap by presenting a theoretical analysis of these approaches, hence explaining why they perform well in practice. More precisely, we make two new contributions. The first one relates the randomization rate to robustness to adversarial attacks. This result applies for the general family of exponential distributions, and thus extends and unifies the previous approaches. The second contribution consists in devising a new upper bound on the adversarial generalization gap of randomized neural networks. We support our theoretical claims with a set of experiments.

研究动机与目标

• 为对随机化防御提供动机并形式化对抗攻击的鲁棒性。
• 为概率映射定义鲁棒性并证明 Renyi 散度是合适的度量。
• 提供理论保证，将指数族噪声与鲁棒性以及对抗泛化差距的上界联系起来。
• 通过在 CIFAR-10/100 和 ImageNet 上的实验展示，注入噪声的 CNN/ResNet 实现了有竞争力的准确性-鲁棒性权衡。

提出的方法

• 将防御建模为将输入映射到输出分布的概率映射 M。
• 使用 Renyi 散度 d_R,λ 来定义鲁棒性并将其与指数族噪声注入相关联。
• 证明定理 1：指数族噪声确保 d_R,λ-(α,ε)-鲁棒性，ε 取决于噪声参数和网络敏感性。
• 证明定理 2：在 ε 和熵 H(M(x)) 的条件下，上界对抗性泛化差距 Risk_α(M) − Risk(M)。
• 展示数据处理性质（命题 2）以证明在后续确定性映射下鲁棒性保持。
• 通过向 CNN/ResNet 注入 Laplace 和高斯噪声并在对迭代攻击下进行评估，给出实际实现。

实验结果

研究问题

• RQ1 来自指数族分布的噪声如何影响随机网络对抗攻击的鲁棒性？
• RQ2 我们能否保证在对抗下对使用指数族噪声的分类器的准确率损失有界？
• RQ3 散度的选择（Renyi 与总变差）如何影响鲁棒性保证？
• RQ4 在实践中，噪声水平与准确性/鲁棒性之间的权衡是什么？

主要发现

• 当噪声来自指数族分布时实现鲁棒性，给出基于 Renyi 散度的显式保证（定理 1）。
• Renyi 鲁棒性意味着总变差鲁棒性，将强理论保证与实际指标联系起来（命题 1）。
• 建立对抗泛化差距的上界：Risk_α(M) − Risk(M) ≤ 1 − e^(-ε) E_x[e^{-H(M(x))]}（定理 2）。
• 在推理时注入高斯或拉普拉斯噪声会产生权衡：更高的噪声提高鲁棒性但降低自然准确性，展示 CIFAR-10/100 和 ImageNet 的准确性-鲁棒性平衡。
• 实验结果表明，带有小噪声的随机模型在自然准确性上与非随机模型接近，并且在迭代攻击（PGD、C&W、EAD）的鲁棒性方面具有竞争力，与某些设置下的对抗训练相比（表1及讨论）。
• 数据处理确保在与确定性层组合时鲁棒性属性得以保持，支持分层随机化作为一种有原则的防御。