[论文解读] On the Tightness of Semidefinite Relaxations for Certifying Robustness to Adversarial Examples

Richard Y. Zhang|arXiv (Cornell University)|Jun 11, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种几何框架，用于分析在ReLU神经网络中，半定规划（SDP）松弛在验证鲁棒性时的紧致性。它证明了在温和条件下，对于单隐藏层网络，SDP松弛是精确的（即，可获得全局最优的对抗扰动）；并通过分析点在非凸双曲面上的投影，解释了为何在更深的网络中其变得保守。

ABSTRACT

The robustness of a neural network to adversarial examples can be provably certified by solving a convex relaxation. If the relaxation is loose, however, then the resulting certificate can be too conservative to be practically useful. Recently, a less conservative robustness certificate was proposed, based on a semidefinite programming (SDP) relaxation of the ReLU activation function. In this paper, we describe a geometric technique that determines whether this SDP certificate is exact, meaning whether it provides both a lower-bound on the size of the smallest adversarial perturbation, as well as a globally optimal perturbation that attains the lower-bound. Concretely, we show, for a least-squares restriction of the usual adversarial attack problem, that the SDP relaxation amounts to the nonconvex projection of a point onto a hyperbola. The resulting SDP certificate is exact if and only if the projection of the point lies on the major axis of the hyperbola. Using this geometric technique, we prove that the certificate is exact over a single hidden layer under mild assumptions, and explain why it is usually conservative for several hidden layers. We experimentally confirm our theoretical insights using a general-purpose interior-point method and a custom rank-2 Burer-Monteiro algorithm.

研究动机与目标

• 理解ReLU激活函数的半定规划（SDP）松弛在何时能产生精确的鲁棒性认证。
• 解决深度神经网络中保守与精确鲁棒性认证之间的差距。
• 开发一种几何方法，以判断SDP松弛是否紧致，即是否在对抗攻击问题中实现全局最优。
• 解释为何尽管SDP方法比先前方法更不保守，但在深层网络中其认证结果仍常表现为保守。

提出的方法

• 本文将对抗攻击问题表述为最小二乘优化问题，并将其分解为一系列非凸投影问题。
• 将最终的松弛步骤建模为高维空间中点对双曲面的非凸投影。
• SDP松弛的紧致性取决于该投影是否位于双曲面的主轴上。
• 该方法采用秩-2 Burer-Monteiro分解，高效求解非凸问题，并通过非正交分量的残差为零来检测全局最优性。
• 利用矩阵补全和低秩优化的理论结果，证明精确解在因子化空间中对应于秩-1解。
• 通过内点法和带有多次随机重启的自定义秩-2 Burer-Monteiro算法对方法进行了验证。

实验结果

研究问题

• RQ1 在何种几何条件下，ReLU激活函数的SDP松弛在对抗鲁棒性认证中是紧致的？
• RQ2 为何基于SDP的认证比先前方法更不保守，以及其在何时无法达到精确性？
• RQ3 能否通过投影点相对于双曲面主轴的位置来表征SDP松弛的紧致性？
• RQ4 在对网络权重和偏置施加温和假设的条件下，SDP松弛是否对单隐藏层ReLU网络是精确的？
• RQ5 是什么解释了在具有多个隐藏层的深层网络中，SDP认证的保守性增加？

主要发现

• 在温和假设下，SDP松弛对单隐藏层ReLU网络是精确的，因为最优点的投影位于双曲面的主轴上。
• SDP松弛是紧致的，当且仅当非凸投影问题的解位于双曲面的主轴上。
• 对于深层网络，投影通常不位于主轴上，这解释了SDP认证中观察到的保守性。
• 实验结果确认，当SDP松弛紧致时，秩-2 Burer-Monteiro算法始终收敛到秩-1解，表明实现了全局最优。
• 当松弛不紧致时，该算法通常收敛到非零非正交分量的解，表明存在次优性。
• 该几何表征为基于SDP的鲁棒性认证在单层与多层网络之间实际性能差距提供了理论解释。