[论文解读] Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds

Yujia Huang, Huan Zhang+3 more|arXiv (Cornell University)|Nov 2, 2021

Adversarial Robustness in Machine Learning被引用 12

一句话总结

该论文提出了一种可训练的、高效的局部Lipschitz界，用于可认证鲁棒的神经网络，通过基于ReLU和MaxMin激活行为在输入扰动下的表现，动态消除权重矩阵中的非活跃行和列。通过引入可学习的激活阈值和稀疏性损失，该方法在训练过程中收紧了局部Lipschitz界，在ℓ₂鲁棒性设置下于CIFAR-10上实现了60.7%的SOTA认证准确率。

ABSTRACT

Certified robustness is a desirable property for deep neural networks in safety-critical applications, and popular training algorithms can certify robustness of a neural network by computing a global bound on its Lipschitz constant. However, such a bound is often loose: it tends to over-regularize the neural network and degrade its natural accuracy. A tighter Lipschitz bound may provide a better tradeoff between natural and certified accuracy, but is generally hard to compute exactly due to non-convexity of the network. In this work, we propose an efficient and trainable \\emph{local} Lipschitz upper bound by considering the interactions between activation functions (e.g. ReLU) and weight matrices. Specifically, when computing the induced norm of a weight matrix, we eliminate the corresponding rows and columns where the activation function is guaranteed to be a constant in the neighborhood of each given data point, which provides a provably tighter bound than the global Lipschitz constant of the neural network. Our method can be used as a plug-in module to tighten the Lipschitz bound in many certifiable training algorithms. Furthermore, we propose to clip activation functions (e.g., ReLU and MaxMin) with a learnable upper threshold and a sparsity loss to assist the network to achieve an even tighter local Lipschitz bound. Experimentally, we show that our method consistently outperforms state-of-the-art methods in both clean and certified accuracy on MNIST, CIFAR-10 and TinyImageNet datasets with various network architectures.

研究动机与目标

• 为解决全局Lipschitz界在可认证鲁棒性训练中的局限性，即过于保守并降低自然准确率。
• 开发一种计算高效且可微分的方法，以计算对每个输入邻域自适应的更紧致的局部Lipschitz界。
• 通过鼓励激活神经元在扰动下趋于恒定，使神经网络在训练过程中学习最小化局部Lipschitz常数。
• 改善ℓ₂范数鲁棒性设置下自然准确率与认证鲁棒性之间的权衡。

提出的方法

• 对于每个输入数据点，该方法识别在局部扰动下保持恒定的ReLU或MaxMin激活神经元，并移除前一权重矩阵中的对应行以及下一权重矩阵中的对应列。
• 局部Lipschitz界通过缩减后权重矩阵的谱范数计算，其结果比全局Lipschitz常数具有更强的可证明紧致性。
• 引入可学习的上界阈值以截断激活函数（如ReLU），使得当输入超过该阈值时神经元变为恒定，从而促进行/列的移除。
• 应用一种促进稀疏性的铰链损失，以鼓励更多神经元进入恒定状态，进一步收紧局部界。
• 该方法作为即插即用模块集成到现有的可认证训练框架中（如基于IBP或CROWN的框架），无需修改网络架构。
• 在推理阶段，仅对全局界未认证的输入计算局部Lipschitz界，从而降低计算开销。

实验结果

研究问题

• RQ1 能否以可微分的方式高效计算并训练一种自适应于单个输入邻域的局部Lipschitz界？
• RQ2 在利用扰动下激活行为时，局部Lipschitz界相比全局界能紧致多少？
• RQ3 可学习的激活阈值和稀疏性正则化能否用于训练主动最小化局部Lipschitz常数的网络？
• RQ4 所提出的方法是否能改善ℓ₂范数鲁棒性设置下自然准确率与认证鲁棒性之间的权衡？

主要发现

• 在CIFAR-10上，ε = 36/255时，使用MaxMin激活的该方法实现了60.7%的认证准确率，优于SOTA基线的59.2%。
• 使用ReLU激活时，该方法在CIFAR-10上实现了54.3%的认证准确率，超过SOTA的51.3%。
• 在Tiny-ImageNet上，该方法实现了23.4%的认证准确率，超过SOTA的22.4%。
• 该方法平均将权重矩阵中的活跃行和列数量减少了45%以上，表明对冗余组件实现了显著剪枝。
• 在局部Lipschitz计算中，平均收敛所需的幂迭代步数为137，但仅有13.8%的输入需要评估，因为已被全局界认证。
• 该方法在CIFAR-10上保持了较高的干净准确率——在6C2F架构下达到77.4%，表明其在鲁棒性与准确率之间具有出色的权衡。