[论文解读] Theoretical evidence for adversarial robustness through randomization: the case of the Exponential family.

Rafaël Pinot, Laurent Meunier+5 more|arXiv (Cornell University)|Feb 4, 2019

Adversarial Robustness in Machine Learning被引用 9

一句话总结

本文首次为通过随机化实现对抗鲁棒性提供了理论依据，特别针对推理时的指数族噪声注入。它建立了随机化速率与鲁棒性之间的正式联系，统一并扩展了先前针对指数族的实证成功，提供了严格的分析。

ABSTRACT

This paper investigates the theory of robustness against adversarial attacks. It focuses on the family of randomization techniques that consist in injecting noise in the network at inference time. These techniques have proven effective in many contexts, but lack theoretical arguments. We close this gap by presenting a theoretical analysis of these approaches, hence explaining why they perform well in practice. More precisely, we provide the first result relating the randomization rate to robustness to adversarial attacks. This result applies for the general family of exponential distributions, and thus extends and unifies the previous approaches. We support our theoretical claims with a set of experiments.

研究动机与目标

• 为基于随机化的对抗攻击防御缺乏理论理解的问题提供解决方案。
• 建立随机化速率与对抗样本鲁棒性之间的正式联系。
• 基于指数族，将现有随机化技术统一并推广到一个单一的理论框架下。
• 为推理时噪声注入在提升鲁棒性方面的实证成功提供理论依据。

提出的方法

• 作者分析在推理阶段而非训练阶段注入指数族分布噪声的随机化技术。
• 利用指数族的性质，推导出模型鲁棒性与随机化速率之间的理论边界。
• 通过浓度不等式和指数族分布的结构，量化了鲁棒性增益。
• 该方法在温和的正则性条件下，适用于广泛的模型和噪声分布，包括高斯分布和拉普拉斯分布。
• 通过在标准基准上的实证实验，验证了理论预测。

实验结果

研究问题

• RQ1 随机化速率如何影响深度神经网络中的对抗鲁棒性？
• RQ2 能否建立一个理论框架来解释推理时随机化的成功？
• RQ3 指数族分布在多大程度上统一了现有的基于随机化的防御方法？
• RQ4 噪声分布参数与鲁棒性保证之间的数学关系是什么？

主要发现

• 本文建立了随机化速率与对抗鲁棒性之间正式的理论关系，表明更高的随机化速率可提升鲁棒性。
• 理论分析适用于整个指数族，统一了此前针对高斯分布和拉普拉斯分布等特定分布的研究结果。
• 推导出的边界表明，即使模型未经过对抗训练，随机化也能提供鲁棒性。
• 实证结果验证了理论预测，显示在多个数据集和模型架构上均表现出一致的鲁棒性提升。