[论文解读] TSS: Transformation-Specific Smoothing for Robustness Certification

Linyi Li, Maurice Weber+6 more|arXiv (Cornell University)|Feb 27, 2020

Adversarial Robustness in Machine Learning参考文献 63被引用 6

一句话总结

TSS 提出了一种统一框架，通过利用针对特定变换的随机平滑和分层采样技术来估计插值误差，实现了对机器学习模型在语义变换（如旋转、模糊和亮度变化）下的可证明鲁棒性认证。该方法在对抗 ±30° 旋转的 ImageNet 数据集上实现了 30.4% 的认证鲁棒准确率，是首个在超出 ℓp-有界扰动的大型数据集上提供非平凡认证鲁棒性的方法。

ABSTRACT

As machine learning (ML) systems become pervasive, safeguarding their security is critical. However, recently it has been demonstrated that motivated adversaries are able to mislead ML systems by perturbing test data using semantic transformations. While there exists a rich body of research providing provable robustness guarantees for ML models against $\ell_p$ norm bounded adversarial perturbations, guarantees against semantic perturbations remain largely underexplored. In this paper, we provide TSS -- a unified framework for certifying ML robustness against general adversarial semantic transformations. First, depending on the properties of each transformation, we divide common transformations into two categories, namely resolvable (e.g., Gaussian blur) and differentially resolvable (e.g., rotation) transformations. For the former, we propose transformation-specific randomized smoothing strategies and obtain strong robustness certification. The latter category covers transformations that involve interpolation errors, and we propose a novel approach based on stratified sampling to certify the robustness. Our framework TSS leverages these certification strategies and combines with consistency-enhanced training to provide rigorous certification of robustness. We conduct extensive experiments on over ten types of challenging semantic transformations and show that TSS significantly outperforms the state of the art. Moreover, to the best of our knowledge, TSS is the first approach that achieves nontrivial certified robustness on the large-scale ImageNet dataset. For instance, our framework achieves 30.4% certified robust accuracy against rotation attack (within $\pm 30^\circ$) on ImageNet. Moreover, to consider a broader range of transformations, we show TSS is also robust against adaptive attacks and unforeseen image corruptions such as CIFAR-10-C and ImageNet-C.

研究动机与目标

• 为解决传统 ℓp-范数有界防御无法应对的语义变换带来的可证明鲁棒性保障缺失问题。
• 开发一种统一的认证框架，以考虑不同变换的独特属性。
• 在 ImageNet 等大规模数据集上实现非平凡的认证鲁棒性，而此前的方法均未能实现。
• 通过新颖的分层采样技术，处理可微分可分辨变换（如旋转、缩放）中的插值误差。
• 在自适应攻击和未预见的图像退化（如 CIFAR-10-C 和 ImageNet-C）下提升鲁棒性认证性能。

提出的方法

• 根据其数学特性，将变换分类为可分辨（如高斯模糊）和可微分可分辨（如旋转）两类。
• 针对可分辨变换，设计特定于变换的随机平滑策略，以推导出更紧致的鲁棒性认证边界。
• 针对可微分可分辨变换，提出一种分层采样方法，用于估计并限制平滑过程中的插值误差。
• 引入一致性增强训练，以提升干净样本准确率和鲁棒性认证性能。
• 利用插值误差的上界（例如通过公式 (24)）推导出在变换扰动下的认证鲁棒性边界。
• 采用两级采样策略：首先采样变换空间，然后采样扰动输入以估计鲁棒性。

实验结果

研究问题

• RQ1 我们能否为不被 ℓp-范数限制的语义变换提供可证明的鲁棒性保障？
• RQ2 如何设计特定于变换的平滑协议，使其比现有方法产生更紧致的鲁棒性认证边界？
• RQ3 在涉及插值误差的可微分可分辨变换中，哪些技术能有效实现鲁棒性认证？
• RQ4 该框架能否在 ImageNet 等大规模数据集上实现非平凡的认证鲁棒性？
• RQ5 该框架在自适应攻击和未预见的图像退化（如 CIFAR-10-C 和 ImageNet-C）下的表现如何？

主要发现

• TSS 在 ImageNet 上对 ±30° 旋转攻击实现了 30.4% 的认证鲁棒准确率，这是该数据集上首次实现非平凡的语义变换认证鲁棒性。
• 在 CIFAR-10 上，TSS 对 ±10° 旋转和 ±10% 亮度变化实现了 63.6% 的认证鲁棒准确率，优于先前的最先进方法。
• 在 MNIST 上，TSS 对 ±50% 缩放和 ±50% 亮度变化实现了 97.4% 的认证鲁棒准确率，显示出在简单数据集上的优异性能。
• 该框架在广泛范围的平滑方差下，同时保持了较高的干净样本准确率（如 CIFAR-10 上为 83.0%）和认证鲁棒性。
• TSS 在自适应攻击和未预见的退化（包括 CIFAR-10-C 和 ImageNet-C）下表现出鲁棒性，验证了其在标准扰动之外的泛化能力。
• 观察到认证紧致性与计算成本之间的权衡：增加采样数量可提升鲁棒性边界，但计算时间线性增加。