[论文解读] Semialgebraic Representation of Monotone Deep Equilibrium Models and Applications to Certification

Tong Chen, Jean B. Lasserre+2 more|arXiv (Cornell University)|Jun 2, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用 4

一句话总结

本文提出了一种基于ReLU的单调深度平衡模型（monDEQs）的半代数表示方法，通过半定规划（SDP）实现了鲁棒性认证、Lipschitz常数估计以及椭球不确定性传播。所提出的基于SDP的模型在$ L_2 $鲁棒性方面优于先前方法，并揭示monDEQs对$ L_\infty $扰动的敏感性远高于对$ L_2 $扰动的敏感性。

ABSTRACT

Deep equilibrium models are based on implicitly defined functional relations and have shown competitive performance compared with the traditional deep networks. Monotone operator equilibrium networks (monDEQ) retain interesting performance with additional theoretical guaranties. Existing certification tools for classical deep networks cannot directly be applied to monDEQs for which much fewer tools exist. We introduce a semialgebraic representation for ReLU based monDEQs which allows to approximate the corresponding input output relation by semidefinite programming (SDP). We present several applications to network certification and obtain SDP models for the following problems : robustness certification, Lipschitz constant estimation, ellipsoidal uncertainty propagation. We use these models to certify robustness of monDEQs w.r.t. a general $L_q$ norm. Experimental results show that the proposed models outperform existing approaches for monDEQ certification. Furthermore, our investigations suggest that monDEQs are much more robust to $L_2$ perturbations than $L_{\infty}$ perturbations.

研究动机与目标

• 为解决单调深度平衡模型（monDEQs）缺乏鲁棒性认证工具的问题，这些模型在理论上是可靠的，但在认证方面尚未得到充分探索。
• 开发一个通用框架，用于认证鲁棒性、估计Lipschitz常数，并通过半代数表示计算网络输出的外逼近。
• 通过半定规划松弛，实现monDEQs在一般$ L_p $范数下（尤其是$ L_2 $和$ L_\infty $）的高效认证。
• 证明monDEQs表现出非对称鲁棒性，对$ L_\infty $扰动比对$ L_2 $扰动更敏感。
• 将基于代数几何的认证技术——此前仅限于经典DNNs——扩展至隐式定义的monDEQ架构。

提出的方法

• 利用不动点方程和单调性约束，将带有ReLU激活的monDEQs表示为半代数集。
• 应用Shor松弛法，将半代数表示转化为一系列半定规划（SDP）的层次结构。
• 构建三种不同的SDP模型：(1) $ L_p $范数下的鲁棒性认证，(2) Lipschitz常数估计，(3) 图像集的椭球外逼近。
• 使用SDP层次结构的一阶松弛，计算Lipschitz常数的紧致上界，并验证鲁棒性。
• 利用外逼近椭球的几何特性，通过检查椭球在标签空间中是否位于决策边界以下，来实现鲁棒性认证。
• 在MNIST数据集上对全连接的monDEQs应用模型，并与[25]中的最先进方法进行比较。

实验结果

研究问题

• RQ1 能否构建monDEQs的半代数表示，以实现通过半定规划进行代数认证？
• RQ2 所提出的基于SDP的模型在monDEQs的鲁棒性认证性能方面，与现有方法相比如何？
• RQ3 monDEQs的鲁棒性在不同$ L_p $范数下是否对称，特别是$ L_2 $与$ L_\infty $之间？
• RQ4 所提出的模型能否为monDEQs提供紧致的Lipschitz常数估计，从而优于现有边界？
• RQ5 外逼近椭球能否有效用于monDEQs的鲁棒性认证？与直接鲁棒性检查相比表现如何？

主要发现

• 所提出的鲁棒性模型优于[25]中的方法，在$ L_2 $范数下能够认证更多MNIST样本的鲁棒性。
• 即使仅使用一阶SDP松弛，鲁棒性模型的认证边界也比最先进方法更紧致。
• Lipschitz模型提供的Lipschitz常数上界比[25]更紧，表明估计精度有所提升。
• 椭球模型能够有效实现网络输出的外逼近，可视化显示基于$ L_2 $的椭球位于决策阈值以下，而基于$ L_\infty $的椭球则不是。
• 实验结果证实，monDEQs对$ L_\infty $扰动的鲁棒性远低于对$ L_2 $扰动的鲁棒性，这与经典DNNs的表现相反。
• 基于SDP的模型在认证任务中表现有效，但其可扩展性受限于当前SDP求解器处理超过5000×5000矩阵的能力。