[论文解读] Provable Robust Learning Based on Transformation-Specific Smoothing.

Linyi Li, Maurice Weber+5 more|arXiv (Cornell University)|Feb 27, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 12

一句话总结

本文提出了一种统一框架，通过将语义变换分类为可解析和可微分可解析类型，实现对一般语义变换的可证明鲁棒性认证。该框架引入了一种基于采样的插值方法，并结合利普希茨常数估计，证明指数平滑相比高斯平滑能获得更紧致的鲁棒性边界，在 ImageNet 上对七种变换的性能显著优于当前最先进方法。

ABSTRACT

As machine learning (ML) systems become pervasive, safeguarding their security is critical. Recent work has demonstrated that motivated adversaries could add adversarial perturbations to the test data to mislead ML systems. So far, most research has focused on providing provable robustness guarantees for ML models against a specific Lp norm bounded adversarial perturbation. However, in practice previous work has shown that there are other types of realistic adversarial transformations whose semantic meaning has been leveraged to attack ML systems. In this paper, we aim to provide a unified framework for certifying ML robustness against general adversarial transformations. First, we identify the semantic transformations as different categories: resolvable (e.g., Gaussian blur and brightness) and differentially resolvable transformations (e.g., rotation and scaling). We then provide sufficient conditions and strategies for certifying certain transformations. For instance, we propose a novel sampling-based interpolation approach with estimated Lipschitz upper bound to certify the robustness against differentially resolvable transformations. In addition, we theoretically optimize the smoothing strategies for certifying the robustness of ML models against different transformations. For instance, we show that smoothing by sampling from exponential distribution provides a tighter robustness bound than Gaussian. Extensive experiments on 7 semantic transformations show that our proposed unified framework significantly outperforms the state-of-the-art certified robustness approaches on several datasets including ImageNet.

研究动机与目标

• 解决标准 Lp 有界扰动之外的语义变换在可证明鲁棒性认证方面的空白。
• 基于其结构特性，将语义变换分类为可解析和可微分可解析类型。
• 开发针对特定变换的平滑策略，以实现更紧致的鲁棒性认证。
• 理论上优化平滑分布以提升鲁棒性边界，特别证明指数平滑相比高斯平滑具有优势。
• 在包括 ImageNet 在内的多样化变换和基准数据集上，对框架进行实证验证。

提出的方法

• 根据变换的可微性和可逆性，将语义变换分类为可解析（如高斯模糊、亮度）和可微分可解析（如旋转、缩放）类型。
• 提出一种基于采样的插值方法，并结合估计的利普希茨上界，以认证对可微分可解析变换的鲁棒性。
• 利用针对特定变换的平滑策略，推导出一般变换族下鲁棒性认证的充分条件。
• 理论上分析并优化平滑分布，证明从指数分布中采样相比高斯平滑能获得更紧致的鲁棒性边界。
• 将该框架应用于真实世界数据集，包括 ImageNet，使用标准模型在各种语义扰动下实现认证鲁棒性。
• 采用一种认证鲁棒性评估流水线，基于平滑模型在变换集合下的预测稳定性计算鲁棒性认证。

实验结果

研究问题

• RQ1 能否开发一种统一框架，以认证对超越标准 Lp 有界扰动的多样化语义变换的鲁棒性？
• RQ2 在一般变换族下，鲁棒性认证的充分条件是什么，特别是针对可微分可解析变换？
• RQ3 不同平滑分布（如高斯与指数）如何影响鲁棒性认证的紧致性？
• RQ4 与通用方法相比，特定变换的平滑策略能否显著提升认证鲁棒性裕度？
• RQ5 所提出的框架在真实世界数据集和复杂变换（如旋转与缩放）上的表现如何？

主要发现

• 在 ImageNet 上对七种语义变换的评估中，所提框架的认证鲁棒性准确率显著高于当前最先进方法。
• 理论推导与实证验证均表明，使用指数分布进行平滑相比高斯平滑能获得更紧致的鲁棒性边界。
• 基于采样的插值方法结合利普希茨估计，能有效认证对可微分可解析变换（如旋转与缩放）的鲁棒性。
• 该框架成功推广至多种变换类型，包括可解析（如亮度）和不可解析（如模糊）变换。
• 实证结果表明在 ImageNet 上性能持续提升，证明了该方法在实际应用中的可行性与可扩展性。
• 理论分析证实，与均匀或非自适应平滑相比，特定变换的平滑策略能带来更优的鲁棒性认证效果。