[论文解读] Multi-scale Diffusion Denoised Smoothing

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|Oct 25, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出多尺度去噪扩散平滑（multi-scale diffusion denoised smoothing），一种通过使用单一扩散模型在多个噪声尺度上选择性地应用去噪来改进随机平滑中准确率-鲁棒性权衡的方法。通过微调扩散模型，使其在图像可恢复时输出一致，否则输出多样化，该方法在ImageNet上实现了最先进的可认证鲁棒性，同时保持了接近非平滑模型的高准确率。

ABSTRACT

Along with recent diffusion models, randomized smoothing has become one of a few tangible approaches that offers adversarial robustness to models at scale, e.g., those of large pre-trained models. Specifically, one can perform randomized smoothing on any classifier via a simple "denoise-and-classify" pipeline, so-called denoised smoothing, given that an accurate denoiser is available - such as diffusion model. In this paper, we present scalable methods to address the current trade-off between certified robustness and accuracy in denoised smoothing. Our key idea is to "selectively" apply smoothing among multiple noise scales, coined multi-scale smoothing, which can be efficiently implemented with a single diffusion model. This approach also suggests a new objective to compare the collective robustness of multi-scale smoothed classifiers, and questions which representation of diffusion model would maximize the objective. To address this, we propose to further fine-tune diffusion model (a) to perform consistent denoising whenever the original image is recoverable, but (b) to generate rather diverse outputs otherwise. Our experiments show that the proposed multi-scale smoothing scheme combined with diffusion fine-tuning enables strong certified robustness available with high noise level while maintaining its accuracy close to non-smoothed classifiers.

研究动机与目标

• 为解决随机平滑中长期存在的准确率-鲁棒性权衡问题，尤其是大规模模型中的问题。
• 探究多尺度平滑是否能在不牺牲准确率的前提下提升可认证鲁棒性。
• 为扩散模型开发一种微调策略，以增强去噪平滑流程的性能。
• 提供一种可证明鲁棒、可扩展的防御方法，与预训练分类器兼容。

提出的方法

• 通过聚合不同噪声尺度下的多个平滑分类器，提出多尺度平滑，利用扩散模型的尺度无关特性。
• 提出一种新颖的优化目标，以最大化跨尺度的集体可认证鲁棒性。
• 使用单一扩散模型高效生成多个噪声水平下的去噪输入。
• 微调扩散模型，使其在原始图像可恢复时执行一致的去噪，否则生成多样化输出。
• 采用一维网格搜索优化方法，计算在总和为1约束下使可认证半径最大化的最优噪声尺度权重。
• 应用KKT条件和解析引理，推导出某些噪声尺度对聚合贡献为零的条件。

实验结果

研究问题

• RQ1 多尺度平滑是否能在保持高准确率的同时提升去噪平滑中的可认证鲁棒性？
• RQ2 微调扩散模型以增强去噪平滑性能的最优方式是什么？
• RQ3 跨尺度选择性应用平滑是否优于均匀平滑，能带来更好的鲁棒性-准确率权衡？
• RQ4 单一扩散模型能否以可扩展且高效的方式有效支持多个噪声尺度？
• RQ5 扩散模型中的何种表征或训练目标能最大化跨尺度的集体鲁棒性？

主要发现

• 所提出的多尺度平滑方案在ImageNet上实现了最先进的ℓ₂可认证鲁棒性，优于先前方法。
• 该方法保持了接近非平滑分类器的测试准确率，显著改善了准确率-鲁棒性权衡。
• 将扩散模型微调为在可恢复图像上输出一致、否则输出多样化，可提升鲁棒性。
• 优化框架成功计算出使可认证鲁棒性半径最大化的噪声尺度权重。
• 实验结果表明，该方法提供了有效的鲁棒性认证，且可扩展至大规模模型。
• 该方法表明，通过适当校准的输入相关平滑可同时具备鲁棒性与准确性，而不同于以往脆弱的方案。