[论文解读] Tight Certificates of Adversarial Robustness for Randomly Smoothed Classifiers

Guang-He Lee, Yuan Yang+2 more|arXiv (Cornell University)|Jun 12, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用 27

一句话总结

本文提出了在 $ε$-有界 $µ_2$ 和 $µ_0$ 对抗攻击下，针对随机平滑分类器的紧致且可扩展的鲁棒性证书，利用分层似然比分析和分类器特定假设。该方法在 ImageNet 和分子数据集上实现了最先进的认证准确率，并首次为离散域提供了可操作的 $µ_0$ 鲁棒性保证。

ABSTRACT

Strong theoretical guarantees of robustness can be given for ensembles of classifiers generated by input randomization. Specifically, an $\ell_2$ bounded adversary cannot alter the ensemble prediction generated by an additive isotropic Gaussian noise, where the radius for the adversary depends on both the variance of the distribution as well as the ensemble margin at the point of interest. We build on and considerably expand this work across broad classes of distributions. In particular, we offer adversarial robustness guarantees and associated algorithms for the discrete case where the adversary is $\ell_0$ bounded. Moreover, we exemplify how the guarantees can be tightened with specific assumptions about the function class of the classifier such as a decision tree. We empirically illustrate these results with and without functional restrictions across image and molecule datasets.

研究动机与目标

• 解决机器学习中离散、$µ_0$-有界对抗者缺乏紧致且可扩展的鲁棒性证书的问题。
• 将随机平滑的理论保证从各向同性高斯噪声扩展到更广泛的分布和度量。
• 提出分层似然比分析，以在离散空间中实现精确且紧致的鲁棒性证书。
• 通过引入分类器的结构假设（如决策树）来提升证书的紧致性。
• 在 $µ_0$ 攻击下，于图像和分子数据集上实现最先进的认证鲁棒性。

提出的方法

• 提出分层似然比分析，以计算离散输入空间中 $µ_0$-有界对抗者下的紧致鲁棒性证书。
• 引入预计算步骤，使用 $\rho_r^{-1}(0.5)$ 高效确定每个半径 $r$ 下的最小置信度阈值。
• 利用分类器特定假设（如决策树）在一般性边界之外进一步收紧鲁棒性证书。
• 设计可扩展的算法，以最小计算开销计算证书，从而实现在 ImageNet 等大规模数据集上的部署。
• 利用 Neyman-Pearson 引理，为各向同性高斯随机化下的可测分类器推导最优且紧致的证书。
• 应用动态规划和贪心搜索，在离散特征空间中寻找最坏情况的 $µ_0$ 对抗者，实现精确的鲁棒性评估。

实验结果

研究问题

• RQ1 能否通过随机平滑在离散输入空间中为 $µ_0$-有界对抗者推导出紧致且可操作的鲁棒性证书？
• RQ2 在对基础分类器施加结构假设的条件下，如何收紧随机平滑分类器的鲁棒性保证？
• RQ3 所提出的认证方法在真实世界图像和分子数据集上的可扩展性和实际性能如何？
• RQ4 分层似然比分析在证书紧致性和计算效率方面相较于现有方法有何改进？
• RQ5 分类器特定假设（如决策树）在一般性边界之外能多大程度上增强鲁棒性认证？

主要发现

• 在 $µ_0$ 攻击下，该方法在 ImageNet 上 $r=1$ 时达到 0.538 的认证准确率，显著优于基线的 0.372。
• 非空似然比区域数 $n$ 远小于理论上限 $(d+1)^2$，从而实现高效计算。
• 预计算的 $\rho_r^{-1}(0.5)$ 仅在 $r=d$ 时达到 1，且每个 $\alpha$ 和 $r$ 的计算耗时约 4 天，但可在不同模型和数据集间重复使用。
• 在 Bace 数据集上，随机平滑决策树的鲁棒性始终高于原始决策树，$r=1$ 时预测概率边界的平均差异达 0.358。
• 该方法首次在离散领域提供了可操作且紧致的 $µ_0$ 鲁棒性证书，实证结果表明其性能优于先前在连续空间中的适应方法。
• 认证准确率与半径 $r$ 呈非线性关系，$µ$ 值较高的情况在小半径下表现更优，反之亦然，表明鲁棒性扩展存在权衡。