[论文解读] Strengthened SDP Verification of Neural Network Robustness via Non-Convex Cuts.

Ziye Ma, Somayeh Sojoudi|arXiv (Cornell University)|Oct 16, 2020

Adversarial Robustness in Machine Learning参考文献 9被引用 5

一句话总结

本文提出一种顺序半定规划（SDP）方法，通过列加非凸切割（通过混合整数规划生成）来减少神经网络鲁棒性验证中的松弛间隙。该方法在增加切割数量时提高了验证精度并收紧了边界，为安全关键型AI系统提供了更强的认证框架。

ABSTRACT

There have been major advances on the design of neural networks, but still they cannot be applied to many safety-critical systems due to the lack of efficient computational techniques to analyze and certify their robustness. Recently, various methods based on convex optimization have been proposed to address this issue. In particular, the semidefinite programming (SDP) approach has gained popularity in convexifying the robustness analysis problem. Since this approach is prone to a large relaxation gap, this paper develops a new technique to reduce the gap by adding non-convex cuts via disjunctive programming. The proposed method amounts to a sequential SDP technique. We analyze the performance of this method both theoretically and empirically, and show that it bridges the gap as the number of cuts increases.

研究动机与目标

• 为解决安全关键型神经网络中鲁棒性验证的关键挑战，现有方法存在较大的松弛间隙。
• 减少半定规划（SDP）方法在鲁棒性验证中固有的松弛间隙，该间隙限制了其实际精度。
• 开发一种可扩展且高效的技术，通过混合整数规划引入非凸切割，强化基于SDP的验证。
• 通过迭代优化逐步收紧松弛SDP边界与真实鲁棒性之间的理论与实证差距。

提出的方法

• 该方法引入源自混合整数规划的非凸切割，以收紧神经网络鲁棒性问题的SDP松弛。
• 提出一种顺序SDP方法，通过迭代添加切割逐步减少松弛间隙。
• 每个切割均基于激活模式的析取（disjunctive）关系推导，捕捉非凸约束以提升松弛的紧致性。
• 算法在求解SDP子问题与识别违反的析取约束之间交替，以生成新切割。
• 该过程重复进行，直至收敛或达到预设的松弛间隙目标。
• 该方法在保持SDP子问题凸性的同时，通过切割生成引入非凸结构信息。

实验结果

研究问题

• RQ1 如何系统性地减少基于SDP的神经网络鲁棒性验证中的松弛间隙？
• RQ2 源自混合整数规划的非凸切割在多大程度上提升了SDP松弛的紧致性？
• RQ3 切割的顺序添加如何影响鲁棒性认证的收敛性与精度？
• RQ4 所提方法是否能在不牺牲计算可行性的情况下，实现强于标准SDP方法的验证保证？

主要发现

• 所提方法通过迭代添加非凸切割，成功减少了基于SDP的鲁棒性验证中的松弛间隙。
• 随着切割数量的增加，该方法逐步收紧验证边界，逼近真实的鲁棒性裕度。
• 理论分析证实，在所提出的切割生成方案下，SDP松弛序列收敛至更紧的边界。
• 实证评估表明，与基线SDP方法相比，该方法在深层或更复杂网络上的验证性能显著提升。
• 该方法在保持计算可行性的同时，显著优于标准SDP松弛在认证精度方面的表现。
• 迭代切割生成过程有效捕捉了凸松弛方法所遗漏的非凸激活模式。