[论文解读] PAC-learning in the presence of evasion adversaries

Daniel Cullina, Arjun Nitin Bhagoji+1 more|arXiv (Cornell University)|Jun 5, 2018

Adversarial Robustness in Machine Learning参考文献 56被引用 20

一句话总结

本文将PAC-学习框架扩展至规避型对手，通过引入对抗性VC维的概念，刻画在对抗性扰动存在下的样本复杂度。研究证明，对于在范数约束下的对手下的半空间分类器，对抗性VC维等于标准VC维，从而解决了长期存在的开放性问题，并表明鲁棒学习并不必然需要更多数据。

ABSTRACT

The existence of evasion attacks during the test phase of machine learning algorithms represents a significant challenge to both their deployment and understanding. These attacks can be carried out by adding imperceptible perturbations to inputs to generate adversarial examples and finding effective defenses and detectors has proven to be difficult. In this paper, we step away from the attack-defense arms race and seek to understand the limits of what can be learned in the presence of an evasion adversary. In particular, we extend the Probably Approximately Correct (PAC)-learning framework to account for the presence of an adversary. We first define corrupted hypothesis classes which arise from standard binary hypothesis classes in the presence of an evasion adversary and derive the Vapnik-Chervonenkis (VC)-dimension for these, denoted as the adversarial VC-dimension. We then show that sample complexity upper bounds from the Fundamental Theorem of Statistical learning can be extended to the case of evasion adversaries, where the sample complexity is controlled by the adversarial VC-dimension. We then explicitly derive the adversarial VC-dimension for halfspace classifiers in the presence of a sample-wise norm-constrained adversary of the type commonly studied for evasion attacks and show that it is the same as the standard VC-dimension, closing an open question. Finally, we prove that the adversarial VC-dimension can be either larger or smaller than the standard VC-dimension depending on the hypothesis class and adversary, making it an interesting object of study in its own right.

研究动机与目标

• 理解当对手能够以难以察觉的方式扰动测试输入时，PAC-学习的基本极限。
• 形式化规避型对手对监督学习中假设类复杂度和样本复杂度的影响。
• 解决关于半空间分类器在对抗性条件下是否需要更多训练数据的开放性问题。
• 刻画不同假设类和对手约束下，对抗性VC维与标准VC维之间的关系。

提出的方法

• 引入了受污染假设类的概念，用于建模在对抗性输入扰动下的标准假设类。
• 将对抗性VC维定义为在给定对手模型下，受污染假设类的VC维。
• 应用统计学习基本定理，利用对抗性VC维推导样本复杂度的上界。
• 分析了在样本级、范数约束对手（如ℓp有界扰动）下的半空间分类器情形，并证明对抗性VC维等于标准VC维。
• 构造了对抗性VC维大于或小于标准VC维的显式例子，展示了其非单调行为。
• 通过组合论证和误差模式分析，为特定假设类建立对抗性VC维的下界。

实验结果

研究问题

• RQ1 规避型对手的存在是否会增加PAC-学习半空间分类器所需的样本复杂度？
• RQ2 在不同假设类和对手约束下，对抗性VC维与标准VC维之间有何关系？
• RQ3 统计学习基本定理能否扩展至存在对抗性输入扰动的场景？
• RQ4 是否存在对抗性VC维严格大于或小于标准VC维的假设类？
• RQ5 在对抗性条件下理解鲁棒分类器可学习性的理论基础是什么？

主要发现

• 在样本级、范数约束对手下，所有半空间分类器集合的对抗性VC维等于标准VC维，解决了Schmidt等人[65]提出的一个开放性问题。
• 在存在规避型对手时，PAC-学习的样本复杂度由对抗性VC维的函数上界控制，从而将统计学习基本定理扩展至对抗性设置。
• 对抗性VC维可以严格小于标准VC维，如通过构造一个退化分类器族，其在对抗性影响下能实现全部2^d种可能的误差模式。
• 对抗性VC维也可以严格大于标准VC维，表明在某些设置下，对手可能增加假设类的复杂度。
• 该框架为分析鲁棒性和样本复杂度提供了与分布无关的理论基础，独立于特定数据分布。
• 结果表明，对于半空间分类器，对抗性鲁棒性并不必然带来样本复杂度的惩罚，挑战了攻击下学习效率固有低下的假设。