[论文解读] On Certifying Non-uniform Bound against Adversarial Attacks

Chen Liu, Ryota Tomioka+1 more|arXiv (Cornell University)|Mar 15, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 9

一句话总结

本文提出了一种用于认证神经网络中非均匀鲁棒性区域的框架，通过使用增广拉格朗日法的约束优化方法，找到比均匀边界更大的、与几何相关的认证邻域。该方法表明，鲁棒模型表现出更大的非均匀边界，具有更高的可解释性以及特征层面鲁棒性中的更高几何相似性，从而提供了一种与数据无关的输入特征鲁棒性度量。

ABSTRACT

This work studies the robustness certification problem of neural network models, which aims to find certified adversary-free regions as large as possible around data points. In contrast to the existing approaches that seek regions bounded uniformly along all input features, we consider non-uniform bounds and use it to study the decision boundary of neural network models. We formulate our target as an optimization problem with nonlinear constraints. Then, a framework applicable for general feedforward neural networks is proposed to bound the output logits so that the relaxed problem can be solved by the augmented Lagrangian method. Our experiments show the non-uniform bounds have larger volumes than uniform ones and the geometric similarity of the non-uniform bounds gives a quantitative, data-agnostic metric of input features' robustness. Further, compared with normal models, the robust models have even larger non-uniform bounds and better interpretability.

研究动机与目标

• 为解决均匀鲁棒性边界对所有输入特征一视同仁、而忽略其实际鲁棒性的局限性。
• 开发一种可泛化的框架，用于估计前馈神经网络中输出logits的非均匀边界。
• 将认证区域体积最大化表述为带有非线性约束的约束优化问题。
• 通过非均匀边界相似性，提供一种与数据无关的、几何相关的度量，用于量化输入特征的鲁棒性。
• 将非均匀边界用作分析和解释标准与鲁棒神经网络模型决策边界的工具。

提出的方法

• 将非均匀鲁棒性认证问题表述为一个在输入扰动预算向量 $\boldsymbol{\epsilon}$ 上具有非线性约束的优化问题。
• 通过使用区间分析和线性松弛技术近似输出logits的边界，将原始的非凸问题松弛为可处理的形式。
• 应用增广拉格朗日法求解松弛后的优化问题，从而实现非均匀边界的高效计算。
• 引入一种可微分的输出logits边界计算方法，支持包括ReLU、残差连接和密集连接在内的通用前馈网络。
• 通过特征级扰动预算 $\boldsymbol{\epsilon}$ 重新参数化对抗区域，使得在 $l_\infty$ 或 $l_2$ 范数下可生成椭圆或矩形的认证区域。
• 通过正交矩阵 $\mathbf{A}$ 扩展框架以支持倾斜边界，从而在扰动空间中建模特征相关性。

实验结果

研究问题

• RQ1 非均匀鲁棒性边界是否能在神经网络输入中产生比均匀边界更大的认证区域？
• RQ2 非均匀边界在不同数据点之间的几何相似性如何与输入特征鲁棒性相关？
• RQ3 非均匀边界能否作为评估单个输入特征鲁棒性的定量、与数据无关的度量？
• RQ4 与标准模型相比，鲁棒模型在非均匀边界体积和可解释性方面有何不同？
• RQ5 非均匀边界能否揭示神经网络决策边界的结构特性？

主要发现

• 非均匀边界实现了比均匀边界更大的认证区域体积，证明了特征特定鲁棒性容忍的优势。
• 与标准模型相比，鲁棒模型表现出显著更大的非均匀认证边界，表明其整体鲁棒性更强。
• 非均匀边界在不同输入之间表现出的几何相似性，为输入特征鲁棒性提供了一种与数据无关的定量度量。
• 与均匀边界相比，非均匀边界更具可解释性，能够揭示哪些输入特征对扰动更具鲁棒性。
• 鲁棒模型中观察到的更强几何相似性表明其决策边界更简单、更具结构性，而标准模型则相反。
• 所提出的框架通过重新参数化残差连接和密集连接，成功推广至ResNet和DenseNet架构。