[论文解读] Projected Randomized Smoothing for Certified Adversarial Robustness

Samuel Pfrommer, Brendon G. Anderson+1 more|arXiv (Cornell University)|Sep 25, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文提出投影随机平滑（Projected Randomized Smoothing），一种通过在应用随机平滑前将输入投影到低维子空间来增强认证对抗鲁棒性的方法。通过在低维空间中进行平滑，该方法实现了对数据流形法向扰动的认证鲁棒性，从而在CIFAR-10和SVHN上获得比当前最先进方法大几个数量级的认证区域体积。

ABSTRACT

Randomized smoothing is the current state-of-the-art method for producing provably robust classifiers. While randomized smoothing typically yields robust $\ell_2$-ball certificates, recent research has generalized provable robustness to different norm balls as well as anisotropic regions. This work considers a classifier architecture that first projects onto a low-dimensional approximation of the data manifold and then applies a standard classifier. By performing randomized smoothing in the low-dimensional projected space, we characterize the certified region of our smoothed composite classifier back in the high-dimensional input space and prove a tractable lower bound on its volume. We show experimentally on CIFAR-10 and SVHN that classifiers without the initial projection are vulnerable to perturbations that are normal to the data manifold and yet are captured by the certified regions of our method. We compare the volume of our certified regions against various baselines and show that our method improves on the state-of-the-art by many orders of magnitude.

研究动机与目标

• 解决随机平滑中的维度灾难问题，其中认证鲁棒性随输入维度呈阶乘式下降。
• 通过将输入投影到低维子空间来利用流形假设，以消除脆弱且统计上不显著的特征。
• 在原始输入空间中提供对认证区域的理论保证，同时保持可计算的鲁棒性认证。
• 证明标准平滑分类器对位于数据流形法向方向的扰动存在漏洞，而所提方法可消除此类扰动。
• 与当前最先进基线方法相比，显著提升认证区域体积，包括各向同性、各向异性和输入相关平滑方法。

提出的方法

• 将高维输入投影到由训练数据前k个主成分张成的低维线性子空间上。
• 在投影空间中使用各向同性高斯噪声应用随机平滑，以生成在低维空间中具有认证鲁棒性的平滑分类器。
• 将原始输入空间中的认证区域表征为投影空间中认证区域的原像，同时考虑投影矩阵零空间中的扰动。
• 通过分析与单位超立方体的交集，推导出输入空间中认证区域体积的可计算下界。
• 引入两种优化机制：求解ℓ∞-正则化回归问题，以及闭式半径调整方法，以改进认证半径估计。
• 通过证明投影空间中认证区域内的任意扰动在输入空间中均对应一个有效的鲁棒区域，确保理论认证的正确性。

实验结果

研究问题

• RQ1 在随机平滑前将输入投影到低维子空间，是否能显著扩大高维输入空间中的认证区域体积？
• RQ2 标准平滑分类器是否对位于数据流形主成分零空间中的对抗扰动存在漏洞？
• RQ3 在低维空间中执行随机平滑是否能实现随子空间维度而非输入空间维度有利增长的认证鲁棒性？
• RQ4 在投影平滑框架下，能否推导出原始输入空间中认证区域体积的可计算下界？
• RQ5 所提方法的认证区域体积与当前最先进各向同性、各向异性和输入相关平滑基线相比，在定量上表现如何？

主要发现

• 在CIFAR-10上，投影随机平滑实现了中位数认证区域体积为log₁₀(10⁻³¹⁷⁵)，比次优基线（RS: 10⁻⁴³⁷⁷）大超过1000倍。
• 在SVHN上，该方法实现了中位数认证体积log₁₀(10⁻¹⁵⁷⁸)，显著优于RS（10⁻⁴²⁸⁰）、ANCER（10⁻⁴⁰³¹）和RS4A基线。
• 该方法的认证区域体积随低维投影维度p阶乘式衰减，而竞争方法则随高维输入维度d阶乘式衰减，解释了其巨大的体积优势。
• 在主成分零空间中显式构造的对抗样本成功欺骗了标准平滑分类器，证实其对流形法向扰动存在漏洞。
• 该方法在保持高干净准确率（CIFAR-10为85.8%，SVHN为91.4%）的同时，实现了远超以往的认证鲁棒性，展现出准确率与鲁棒性之间的有利权衡。
• 闭式半径调整与ℓ∞-回归优化方法均提升了认证半径估计，其中后者提供了一种无需微调即可增强鲁棒性的实用方法。