[论文解读] Towards A Unified Min-Max Framework for Adversarial Exploration and Robustness

Jingkang Wang, Tianyun Zhang+5 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用 21

一句话总结

本文提出了一种统一的极小-极大优化框架，用于对抗性探索与鲁棒性，其应用范围超越了标准对抗性训练，可处理多种问题，如集成攻击、通用扰动以及广义鲁棒性。通过学习自适应的域权重，该方法在性能上优于平均化策略，并为攻击与防御的难度提供了可解释的洞察。

ABSTRACT

The worst-case training principle that minimizes the maximal adversarial loss, also known as adversarial training (AT), has shown to be a state-of-the-art approach for enhancing adversarial robustness against norm-ball bounded input perturbations. Nonetheless, min-max optimization beyond the purpose of AT has not been rigorously explored in the research of adversarial attack and defense. In particular, given a set of risk sources (domains), minimizing the maximal loss induced from the domain set can be reformulated as a general min-max problem that is different from AT. Examples of this general formulation include attacking model ensembles, devising universal perturbation under multiple inputs or data transformations, and generalized AT over different types of attack models. We show that these problems can be solved under a unified and theoretically principled min-max optimization framework. We also show that the self-adjusted domain weights learned from our method provides a means to explain the difficulty level of attack and defense over multiple domains. Extensive experiments show that our approach leads to substantial performance improvement over the conventional averaging strategy.

研究动机与目标

• 为解决标准对抗性训练之外的极小-极大优化缺乏系统性统一框架的问题。
• 将极小-极大公式推广至多种对抗性任务，如模型集成攻击与通用扰动生成。
• 开发一种可自适应调整域权重的方法，以解释多个域中攻击与防御难度的差异。
• 在多域对抗性设置中，提升性能以超越传统平均化策略。

提出的方法

• 将对抗性鲁棒性与探索建模为在一组风险源（域）上的通用极小-极大优化问题。
• 提出一个统一框架，将标准对抗性训练、集成攻击与通用扰动生成统一于同一优化结构之下。
• 通过优化过程端到端学习域特定权重，使模型能根据各域的难度自适应调整。
• 采用极小-极大目标，其中内层最大化在各域中寻找最坏情况扰动，外层最小化则提升模型鲁棒性。
• 将该框架应用于多种任务，包括多输入、多变换与多攻击的模型鲁棒性。
• 证明所学习的域权重与内在攻击与防御难度相关，从而实现可解释性。

实验结果

研究问题

• RQ1 一个单一的极小-极大框架能否统一多种对抗性任务，如鲁棒性训练、集成攻击与通用扰动生成？
• RQ2 该框架中学习到的自适应域权重在多大程度上反映了不同域中攻击与防御难度的相对差异？
• RQ3 在多域对抗性设置中，所提出的框架是否优于传统的平均化策略？
• RQ4 所学习的域权重在多大程度上能为对抗性样本的难度提供可解释的洞察？
• RQ5 该框架能否有效应用于异构攻击模型上的广义对抗性训练？

主要发现

• 所提出的统一极小-极大框架在多域对抗性任务中，相较于传统平均化策略，实现了显著的性能提升。
• 该方法学习到的自适应域权重与攻击与防御的内在难度高度相关，为对抗性鲁棒性提供了可解释性。
• 该框架可泛化至多种对抗性场景，包括集成攻击与通用扰动，且性能持续提升。
• 该方法为鲁棒性提供了一种系统性方法，其适用范围超越了标准对抗性训练。
• 实证结果表明，该框架在多种域配置下，均优于现有方法，在鲁棒性与探索能力方面表现更优。