[论文解读] On Robustness to Adversarial Examples and Polynomial Optimization

Pranjal Awasthi, Abhratanu Dutta+1 more|arXiv (Cornell University)|Nov 12, 2019

Adversarial Robustness in Machine Learning被引用 17

一句话总结

本文建立了对抗鲁棒性与多项式优化之间的强关联，实现了针对线性分类器和二次多项式阈值函数（PTFs）的首个多项式时间可证明鲁棒学习与认证算法。该研究提出一种基于半定规划（SDP）的凸松弛框架，可高效实现对抗攻击与鲁棒性认证，其在发现此前未被检测到的对抗样本方面优于基于PGD的方法。

ABSTRACT

We study the design of computationally efficient algorithms with provable guarantees, that are robust to adversarial (test time) perturbations. While there has been an proliferation of recent work on this topic due to its connections to test time robustness of deep networks, there is limited theoretical understanding of several basic questions like (i) when and how can one design provably robust learning algorithms? (ii) what is the price of achieving robustness to adversarial examples in a computationally efficient manner? The main contribution of this work is to exhibit a strong connection between achieving robustness to adversarial examples, and a rich class of polynomial optimization problems, thereby making progress on the above questions. In particular, we leverage this connection to (a) design computationally efficient robust algorithms with provable guarantees for a large class of hypothesis, namely linear classifiers and degree-2 polynomial threshold functions (PTFs), (b) give a precise characterization of the price of achieving robustness in a computationally efficient manner for these classes, (c) design efficient algorithms to certify robustness and generate adversarial attacks in a principled manner for 2-layer neural networks. We empirically demonstrate the effectiveness of these attacks on real data.

研究动机与目标

• 理解设计对抗鲁棒学习算法时的计算权衡。
• 为对抗扰动提供具有可证明保证的多项式时间算法。
• 刻画针对特定函数类实现高效鲁棒性的代价。
• 为两层神经网络设计高效算法，用于生成对抗攻击与认证鲁棒性。
• 提供一个统一框架，将对抗鲁棒性与多项式优化问题相连接。

提出的方法

• 作者将对抗鲁棒性建模为多项式优化问题：在 ||z||∞ ≤ δ 约束下最大化一个一次或二次多项式 g(x+z)。
• 通过允许一个乘法因子 γ ≥ 1 来松弛 ℓ∞ 约束，从而实现通过半定规划（SDP）的凸松弛。
• 该SDP松弛提供一个解 ẑ，使得 g(x + ẑ) ≥ g(x + z*)，其中 z* 为真实最优解，且 ||ẑ||∞ ≤ γδ。
• 该松弛框架可实现高效的对抗攻击生成：若存在解，则可在松弛后的 ℓ∞ 球内识别出对抗样本。
• 若未找到解，则该算法可可证明地认证在原始 δ-球内不存在对抗样本。
• 通过在训练循环中使用该攻击算法，将该框架扩展至鲁棒学习，确保 (δ/γ)-鲁棒误差保证。

实验结果

研究问题

• RQ1 我们能否为线性与二次分类器设计多项式时间算法，使其对对抗扰动具有可证明鲁棒性？
• RQ2 以计算高效方式实现对抗鲁棒性的计算成本是多少？
• RQ3 如何利用多项式优化设计可证明可认证的对抗攻击与鲁棒性证书？
• RQ4 能否利用对抗鲁棒性与多项式优化之间的联系，使攻击成功率超越PGD？
• RQ5 该框架在多大程度上可扩展至更高次多项式阈值函数或更深的网络？

主要发现

• 所提出的基于SDP的攻击在 δ=0.3 时对PGD失败样本的召回率达到99%，发现了PGD遗漏的对抗样本。
• 当 δ=0.01 时，该方法在PGD失败样本的前100个排名样本中发现了45个新的对抗样本，而PGD未能发现。
• 该攻击生成稀疏的、有目标的对抗样本，其结构与PGD产生的更均匀的扰动不同。
• 该算法提供可证明的鲁棒性认证：若无解，则可证明在 δ-ℓ∞ 邻域内不存在对抗样本。
• 该框架实现了针对一次与二次PTFs的首个多项式时间鲁棒学习算法，具有 (δ/γ)-鲁棒误差保证。
• SDP松弛严格强于先前工作，因其依赖于输入 x，可生成更优的证书。