[论文解读] Sparse and Imperceptible Adversarial Attack via a Homotopy Algorithm

Mingkang Zhu, Tianlong Chen+1 more|arXiv (Cornell University)|Jun 10, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用 7

一句话总结

本文提出一种同伦算法，通过非单调加速近似梯度法（nonmonotone accelerated proximal gradient methods）求解非凸规划问题，联合优化对抗攻击中的稀疏性（ℓ₀ 范数）与不可察觉性（ℓ∞ 范数）。该方法在保持 100% 攻击成功率的前提下，实现了当前最优的稀疏性表现——在 CIFAR-10 上将扰动减少 42.91%，在 ImageNet 上减少 75.03%。

ABSTRACT

Sparse adversarial attacks can fool deep neural networks (DNNs) by only perturbing a few pixels (regularized by l_0 norm). Recent efforts combine it with another l_infty imperceptible on the perturbation magnitudes. The resultant sparse and imperceptible attacks are practically relevant, and indicate an even higher vulnerability of DNNs that we usually imagined. However, such attacks are more challenging to generate due to the optimization difficulty by coupling the l_0 regularizer and box constraints with a non-convex objective. In this paper, we address this challenge by proposing a homotopy algorithm, to jointly tackle the sparsity and the perturbation bound in one unified framework. Each iteration, the main step of our algorithm is to optimize an l_0-regularized adversarial loss, by leveraging the nonmonotone Accelerated Proximal Gradient Method (nmAPG) for nonconvex programming; it is followed by an l_0 change control step, and an optional post-attack step designed to escape bad local minima. We also extend the algorithm to handling the structural sparsity regularizer. We extensively examine the effectiveness of our proposed homotopy attack for both targeted and non-targeted attack scenarios, on CIFAR-10 and ImageNet datasets. Compared to state-of-the-art methods, our homotopy attack leads to significantly fewer perturbations, e.g., reducing 42.91% on CIFAR-10 and 75.03% on ImageNet (average case, targeted attack), at similar maximal perturbation magnitudes, when still achieving 100% attack success rates. Our codes are available at: https://github.com/VITA-Group/SparseADV_Homotopy.

研究动机与目标

• 解决同时满足 ℓ₀ 稀疏性与 ℓ∞ 扰动约束的稀疏且不可察觉的对抗攻击生成挑战。
• 克服由带盒约束的 ℓ₀ 正则化对抗损失所导致的非凸、非光滑优化难题。
• 改进现有方法在收敛速度慢、陷入局部极小值或稀疏性控制不灵活方面的不足。
• 实现像素级与分组级稀疏性，以支持更具可解释性与针对性的攻击。
• 构建一个鲁棒且高效的框架，平衡稀疏性、不可察觉性与攻击成功率。

提出的方法

• 该方法采用同伦框架，通过非单调加速近似梯度（nmAPG）法对非凸规划中的 ℓ₀ 正则化对抗损失进行迭代优化。
• 每次迭代包含一个 ℓ₀ 变化控制步骤，以限制更新像素的数量，确保稀疏性控制。
• 引入可选的攻击后步骤，用于逃离局部极小值并提升扰动质量。
• 通过基于空间或语义特征定义的组结构，将算法扩展至处理结构化（分组）稀疏性。
• 联合施加 ℓ₀ 稀疏性与 ℓ∞ 范数约束，确保最小像素变化与不可察觉的扰动。
• 避免对超参数进行迭代重加权或二分搜索，从而在效率上优于基于 MIP 的方法（如 SAPF 和 StrAttack）。

实验结果

研究问题

• RQ1 统一的优化框架能否有效平衡对抗攻击中的 ℓ₀ 稀疏性与 ℓ∞ 不可察觉性？
• RQ2 所提出的同伦算法在稀疏性与攻击成功率方面相较于当前最优方法表现如何？
• RQ3 ℓ₀ 变化控制与攻击后步骤在多大程度上提升了收敛性与稀疏性？
• RQ4 该算法在保持高攻击成功率与低扰动范数的前提下，能否推广至分组级稀疏性？
• RQ5 与现有方法相比，该算法在大规模数据集（如 ImageNet）上的表现如何？

主要发现

• 所提出的同伦攻击在 CIFAR-10 上相比当前最优方法将平均 ℓ₀ 范数降低 42.91%，在 ImageNet（定向攻击）上降低 75.03%，同时保持 100% 的攻击成功率。
• 在 ImageNet 上，该方法的平均 ℓ₀ 范数为 2,889，远低于 nmAPG 的 13,582 与 Pure-Homotopy 的 16,343，且在相似的 ℓ∞ 约束下表现更优。
• 该算法在 CIFAR-10 上实现 6.88% 的分组稀疏性，在 ImageNet 上实现 2.05% 的分组稀疏性，表明其在最小扰动下仍具备高度结构化稀疏性。
• 与 SAPF 和 StrAttack 相比，该方法显著更快，在 ImageNet 上耗时仅 516.57 秒，而 StrAttack 需 2,242.78 秒。
• 可视化结果表明，分组稀疏性使扰动集中于判别性物体区域，该结论得到类激活图（CAM）的验证。
• 可选的攻击后步骤能有效逃离局部极小值，尤其在高稀疏性区域显著提升稀疏性与鲁棒性。