[论文解读] Towards Understanding the Dynamics of the First-Order Adversaries

Zhun Deng, Hangfeng He+2 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Malware Detection Techniques被引用 4

一句话总结

本文首次对两层ReLU网络中带二次损失的第一阶对抗攻击的投影梯度上升（PGA）方法进行了收敛性分析。证明了PGA以高概率在多项式时间内收敛至局部最大值，并通过实验验证了更小的输入尺度可带来更快的收敛速度和更规则的损失景观，结果在模拟数据和真实世界数据上均得到验证。

ABSTRACT

An acknowledged weakness of neural networks is their vulnerability to adversarial perturbations to the inputs. To improve the robustness of these models, one of the most popular defense mechanisms is to alternatively maximize the loss over the constrained perturbations (or called adversaries) on the inputs using projected gradient ascent and minimize over weights. In this paper, we analyze the dynamics of the maximization step towards understanding the experimentally observed effectiveness of this defense mechanism. Specifically, we investigate the non-concave landscape of the adversaries for a two-layer neural network with a quadratic loss. Our main result proves that projected gradient ascent finds a local maximum of this non-concave problem in a polynomial number of iterations with high probability. To our knowledge, this is the first work that provides a convergence analysis of the first-order adversaries. Moreover, our analysis demonstrates that, in the initial phase of adversarial training, the scale of the inputs matters in the sense that a smaller input scale leads to faster convergence of adversarial training and a "more regular" landscape. Finally, we show that these theoretical findings are in excellent agreement with a series of experiments.

研究动机与目标

• 理解对抗训练中内层最大化步骤的投影梯度上升（PGA）的动力学行为。
• 研究输入尺度是否影响对抗训练的收敛速度和景观规则性。
• 为一阶对抗训练的实证有效性提供理论基础。
• 分析带二次损失的两层ReLU网络中对抗扰动的非凹景观。
• 在对抗鲁棒性训练背景下，为PGA建立严格的收敛保证。

提出的方法

• 分析带二次损失的两层ReLU神经网络中对抗扰动的非凹景观。
• 将投影梯度上升（PGA）用作对抗训练中内层最大化问题的求解器。
• 采用收敛定理证明PGA以高概率在多项式时间内找到近似局部最大值。
• 基于梯度与Hessian近似之间夹角的几何论证，分析扰动球面上的局部极小值与极大值。
• 在不同输入尺度和隐藏层宽度的模拟数据上进行实验，以验证理论发现。
• 在MNIST数据上使用PGD进行轨迹追踪，可视化从随机扰动到局部最大值的收敛过程。

实验结果

研究问题

• RQ1 投影梯度上升（PGA）是否在对抗优化问题中快速收敛至局部最大值？
• RQ2 输入尺度如何影响对抗训练的收敛速度和景观规则性？
• RQ3 是否存在PGA找到局部最大值而非卡在鞍点的理论保证？
• RQ4 隐藏层宽度如何影响对抗损失景观？
• RQ5 关于输入尺度和景观规则性的理论见解是否与实证观察一致？

主要发现

• 投影梯度上升以高概率在多项式时间内收敛至局部最大值，为一阶对抗攻击提供了首个收敛保证。
• 更小的输入尺度可带来更快的对抗训练收敛速度，并产生更规则的损失景观。
• 当网络宽度增加时，对抗损失景观变得更加规则，尤其在输入尺度较小时更为显著。
• 理论分析表明，对于较小的扰动半径，梯度方向具有良好的分离性，从而实现高效收敛。
• 在MNIST和模拟数据上的实证结果证实，更小的输入尺度可实现更快的收敛速度和更平滑的收敛轨迹。
• 理论与实验结果高度一致，验证了输入尺度在塑造优化动力学中的关键作用。