[论文解读] Randomized Smoothing of All Shapes and Sizes

Greg Yang, Tony Duan+4 more|arXiv (Cornell University)|Feb 19, 2020

Adversarial Robustness in Machine Learning参考文献 59被引用 29

一句话总结

本文提出了一种通用的随机平滑框架，利用Wulff晶体识别任意范数下的最优平滑分布，提出两种新的方法以推导出可证明的鲁棒半径，并通过Banach空间类型理论建立基本理论极限。该方法在CIFAR-10和ImageNet上实现了ℓ₁鲁棒性的最先进认证准确率，使用稳定性训练和预训练后，在ℓ₁半径≥1.5时准确率提升超过30%。

ABSTRACT

Randomized smoothing is the current state-of-the-art defense with provable robustness against $\ell_2$ adversarial attacks. Many works have devised new randomized smoothing schemes for other metrics, such as $\ell_1$ or $\ell_\infty$; however, substantial effort was needed to derive such new guarantees. This begs the question: can we find a general theory for randomized smoothing? We propose a novel framework for devising and analyzing randomized smoothing schemes, and validate its effectiveness in practice. Our theoretical contributions are: (1) we show that for an appropriate notion of "optimal", the optimal smoothing distributions for any "nice" norms have level sets given by the norm's *Wulff Crystal*; (2) we propose two novel and complementary methods for deriving provably robust radii for any smoothing distribution; and, (3) we show fundamental limits to current randomized smoothing techniques via the theory of *Banach space cotypes*. By combining (1) and (2), we significantly improve the state-of-the-art certified accuracy in $\ell_1$ on standard datasets. Meanwhile, we show using (3) that with only label statistics under random input perturbations, randomized smoothing cannot achieve nontrivial certified accuracy against perturbations of $\ell_p$-norm $Ω(\min(1, d^{\frac{1}{p} - \frac{1}{2}}))$, when the input dimension $d$ is large. We provide code in github.com/tonyduan/rs4a.

研究动机与目标

• 开发一种通用的随机平滑理论，统一并扩展不同扰动范数下的现有方法。
• 识别任意“良好”范数下的最优平滑分布，表明其对应于该范数的Wulff晶体。
• 提出两种新颖且互补的方法，用于在任意平滑分布下计算可证明的鲁棒半径。
• 利用Banach空间类型理论建立随机平滑的基本理论极限。
• 在标准基准上实现ℓ₁-范数对抗样本下的最先进认证鲁棒准确率。

提出的方法

• 提出一种通用框架，通过Wulff晶体将范数的几何结构与最优平滑分布联系起来，其中Wulff晶体即为最优平滑分布的等值集。
• 引入两种新的鲁棒性认证方法：一种基于大偏差不等式，另一种基于度量嵌入与类型理论。
• 利用Banach空间类型理论推导出仅在扰动下可获得标签统计信息时，可实现鲁棒半径的下限。
• 采用稳定性训练、半监督学习和ImageNet预训练以在实践中提升认证准确率。
• 推导出：对于给定噪声方差，某一范数的最优平滑分布的等值集等于其Wulff晶体，从而最小化期望鲁棒半径。
• 应用Khintchine不等式与度量嵌入定理，将类型常数与线性嵌入中的畸变联系起来，从而实现对鲁棒性的理论极限分析。

实验结果

研究问题

• RQ1 对于任意给定的范数，其最优平滑分布是什么？它与范数几何结构有何关系？
• RQ2 能否使用通用化的方法，为任意平滑分布推导出可证明的鲁棒半径？
• RQ3 当仅能获得标签统计信息时，随机平滑的基本理论极限是什么？
• RQ4 如何在ImageNet和CIFAR-10上实现ℓ₁-范数对抗样本的最先进认证鲁棒性？
• RQ5 Wulff晶体结构能否用于统一并改进现有的随机平滑方案？

主要发现

• 对于任意“良好”范数，其最优平滑分布的等值集等于该范数的Wulff晶体，从而提供了最优性的几何表征。
• 所提出的鲁棒半径计算方法显著提升了CIFAR-10和ImageNet上ℓ₁范数鲁棒性的认证准确率。
• 通过稳定性训练和预训练，该方法在CIFAR-10上实现ℓ₁半径≥1.5时，认证准确率比之前最先进方法高出30%以上。
• 在ImageNet上，该方法在ℓ₁半径0.5时实现60%的认证top-1准确率，在半径4.0时达到39%，优于先前工作。
• 在CIFAR-10上，该方法在ℓ₁半径0.5时实现74%的认证准确率，在半径4.0时达到31%，相比之前最先进方法提升最高达33%。
• 理论分析表明，当仅使用标签统计信息时，随机平滑无法在ℓₚ扰动大于Ω(min(1, d^{1/p - 1/2}))时实现非平凡的认证准确率。