[论文解读] Towards Certifying L-infinity Robustness using Neural Networks with L-inf-dist Neurons

Bohang Zhang, Tianle Cai+3 more|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出 ℓ∞-dist 神经元，一种新型神经网络单元，其核心操作为 ℓ∞-距离，确保相对于 ℓ∞-范数的 1-Lipschitz 连续性。该特性使得可通过预测边界直接认证鲁棒性，所得到的 ℓ∞-dist 网络实现了最先进水平的认证准确率——在 MNIST 上（ε=0.3）达到 93.09%，在 CIFAR-10 上（ε=8/255）达到 35.42%，在 TinyImageNet 上（ε=1/255）达到 16.31%，且训练与认证速度与标准网络相当。

ABSTRACT

It is well-known that standard neural networks, even with a high classification accuracy, are vulnerable to small $\\ell_\\infty$-norm bounded adversarial perturbations. Although many attempts have been made, most previous works either can only provide empirical verification of the defense to a particular attack method, or can only develop a certified guarantee of the model robustness in limited scenarios. In this paper, we seek for a new approach to develop a theoretically principled neural network that inherently resists $\\ell_\\infty$ perturbations. In particular, we design a novel neuron that uses $\\ell_\\infty$-distance as its basic operation (which we call $\\ell_\\infty$-dist neuron), and show that any neural network constructed with $\\ell_\\infty$-dist neurons (called $\\ell_{\\infty}$-dist net) is naturally a 1-Lipschitz function with respect to $\\ell_\\infty$-norm. This directly provides a rigorous guarantee of the certified robustness based on the margin of prediction outputs. We then prove that such networks have enough expressive power to approximate any 1-Lipschitz function with robust generalization guarantee. We further provide a holistic training strategy that can greatly alleviate optimization difficulties. Experimental results show that using $\\ell_{\\infty}$-dist nets as basic building blocks, we consistently achieve state-of-the-art performance on commonly used datasets: 93.09% certified accuracy on MNIST ($\\epsilon=0.3$), 35.42% on CIFAR-10 ($\\epsilon=8/255$) and 16.31% on TinyImageNet ($\\epsilon=1/255$).

研究动机与目标

• 开发一种对 ℓ∞-范数有界对抗扰动具有内在鲁棒性的神经网络架构。
• 基于预测边界提供理论基础坚实的认证鲁棒性保证，避免依赖于经验性攻击评估。
• 通过整体训练策略克服 ℓ∞-dist 网络训练中的优化挑战。
• 证明 ℓ∞-dist 网络可近似任意 1-Lipschitz 函数并实现稳健泛化。

提出的方法

• 设计一种新型神经元——ℓ∞-dist 神经元，其计算输入特征与可学习参数之间的 ℓ∞-距离，而非使用线性变换。
• 证明由 ℓ∞-dist 神经元构成的任意神经网络均相对于 ℓ∞-范数具有 1-Lipschitz 性质，从而可通过基于边界的保证实现直接认证鲁棒性。
• 建立 Lipschitz-通用逼近定理，表明 ℓ∞-dist 网络可任意精确地逼近任意 1-Lipschitz 函数。
• 提出一种整体训练策略，包括恒等映射初始化、ℓp-范数权重衰减、归一化以及平滑梯度近似，以解决梯度稀疏性和优化不稳定性问题。
• 将 ℓ∞-dist 网络用作鲁棒特征提取器，并与标准 MLP 头结合，实现端到端训练与快速认证。
• 采用平滑梯度近似方法，缓解 ℓ∞-范数的不可微性，从而实现稳定的反向传播。

实验结果

研究问题

• RQ1 基于 ℓ∞-距离操作的神经网络架构是否能内在实现相对于 ℓ∞-范数的 1-Lipschitz 连续性，从而支持理论上的鲁棒性认证？
• RQ2 ℓ∞-dist 网络在逼近 1-Lipschitz 函数方面的表达能力如何？其是否具备稳健泛化能力？
• RQ3 如何有效解决 ℓ∞-dist 网络中的优化挑战（如梯度稀疏性与训练不稳定）？
• RQ4 ℓ∞-dist 网络是否能在 MNIST、CIFAR-10 和 TinyImageNet 等标准基准上实现最先进水平的认证鲁棒性？
• RQ5 所提出的训练策略在效率与性能上与现有认证鲁棒训练方法相比如何？

主要发现

• 在 ε=0.3 的 MNIST 上，ℓ∞-dist 网络实现了 93.09% 的认证准确率，优于此前所有方法，包括 IBP 和 CROWN-IBP。
• 在 ε=8/255 的 CIFAR-10 上，模型达到 35.42% 的认证准确率，较 IBP 提升 6.23%，较此前最优结果提升 2.04%。
• 在 ε=1/255 的 TinyImageNet 上，模型实现 16.31% 的认证准确率，尽管仅消耗 156M FLOPs，仍优于参数量达 5.22G FLOPs 的更大模型。
• 在单张 NVIDIA A100 上，ℓ∞-dist 网络每轮训练时间低于 20 秒，显著快于 CROWN-IBP（112.4 秒），且与 IBP 相当。
• 消融研究证实，平滑梯度近似与恒等映射初始化均至关重要，仅使用前者可得 32.56% 的认证准确率，结合初始化后提升至 35.02%。
• 传统 ℓ2 权重衰减会损害性能，而 ℓp-范数权重衰减（p=1 或 2）仅带来微小提升，表明需要采用与架构匹配的正则化策略。