[论文解读] Theoretical Analysis of Adversarial Learning: A Minimax Approach

Zhuozhuo Tu, Jingwei Zhang+1 more|arXiv (Cornell University)|Nov 13, 2018

Adversarial Robustness in Machine Learning参考文献 53被引用 16

一句话总结

本文提出了一种极小化极大框架，用于机器学习中对抗鲁棒性的理论分析，通过传输映射将对抗风险简化为极小化极大统计学习问题。在弱利普希茨条件下，利用覆盖数推导出新颖的风险界，适用于多分类问题和常见的损失函数（如合页损失和坡道损失）；该界包含两个与数据相关的项，可针对支持向量机、深度神经网络和主成分分析进行优化，以提升鲁棒性。

ABSTRACT

Here we propose a general theoretical method for analyzing the risk bound in the presence of adversaries. Specifically, we try to fit the adversarial learning problem into the minimax framework. We first show that the original adversarial learning problem can be reduced to a minimax statistical learning problem by introducing a transport map between distributions. Then, we prove a new risk bound for this minimax problem in terms of covering numbers under a weak version of Lipschitz condition. Our method can be applied to multi-class classification problems and commonly used loss functions such as the hinge and ramp losses. As some illustrative examples, we derive the adversarial risk bounds for SVMs, deep neural networks, and PCA, and our bounds have two data-dependent terms, which can be optimized for achieving adversarial robustness.

研究动机与目标

• 开发一种通用的理论方法，用于分析机器学习中的对抗泛化性能。
• 将现有风险界扩展至多分类问题和非凸损失函数（如合页损失和坡道损失）。
• 推导出比以往工作更紧致且更具适应性的对抗风险界，特别是在 $l_p$-有界对抗者存在的情况下。
• 提供一个统一的框架，适用于监督学习和无监督学习，包括主成分分析。
• 识别风险界中可被优化以增强对抗鲁棒性的与数据相关的项。

提出的方法

• 通过在原始数据分布与扰动数据分布之间引入传输映射，将对抗学习问题简化为极小化极大统计学习问题。
• 应用弱利普希茨条件，基于覆盖数推导出新的风险界，实现对多样化模型的泛化。
• 利用极小化极大框架，考虑模糊集中最坏情况的分布，以捕捉对抗扰动。
• 使用极小化极大框架和覆盖数分析，为支持向量机、深度神经网络和主成分分析推导出显式的风险界。
• 引入一个与数据相关的项 $\lambda_{f,P_n}^+$，作为对抗敏感性的代理，可通过正则化进行优化。
• 提出一种实用的优化策略，通过在正则化参数 $\eta$ 上进行网格搜索，以最小化经验风险与 $\lambda_{f,P_n}^+ \epsilon_{\mathcal{B}}$ 的和。

实验结果

研究问题

• RQ1 如何在理论上分析对抗鲁棒性，使其超越二分类和0-1损失？
• RQ2 能否使用极小化极大框架，在 $l_p$-有界扰动下推导出更紧致、与数据相关的对抗学习风险界？
• RQ3 风险界具有何种结构特性，使其能够用于支持向量机、深度神经网络和主成分分析等模型的对抗鲁棒性优化？
• RQ4 与现有非对抗性和对抗性风险界相比，所提出的界在紧致性和适用性方面有何差异？
• RQ5 所推导的风险界能否被用于设计具有可证明泛化保证的新对抗鲁棒训练算法？

主要发现

• 所提出的极小化极大框架将对抗风险简化为在变换分布下的最坏情况期望风险，通过覆盖数实现理论分析。
• 深度神经网络的风险界包含一个与 $\frac{1}{\sqrt{n}} \prod_{i=1}^{L} \rho_i s_i B W \left( \sum_{i=1}^{L} \left( \frac{b_i}{s_i} \right)^{1/2} \right)^2$ 成比例的项，该表达式依赖于权重矩阵范数和网络深度。
• 对于支持向量机，当 $\epsilon_{\mathcal{B}} = 0$ 时，该界恢复为标准的非对抗风险界，并包含一个捕捉对抗敏感性的与数据相关的项 $\lambda_{f,P_n}^+$。
• 在主成分分析中，该界包含一项 $\frac{576B^2k\sqrt{m}}{\sqrt{n}}$，明确表现出对维度 $m$、秩 $k$ 和数据界 $B$ 的依赖。
• 深度网络的风险界比以往的 $\epsilon_{\mathcal{B}}$-无关界更紧致，且可通过最小化经验风险与 $\lambda_{f,P_n}^+ \epsilon_{\mathcal{B}}$ 的和来优化。
• 该方法提出了一种实用的训练策略，通过在 $\eta \in [0,1]$ 上进行网格搜索以正则化 $\lambda_{f,P_n}^+$，为实现对抗鲁棒性提供了可行路径。