[论文解读] PAC-Learning for Strategic Classification

Ravi Sundaram, Anil Vullikanti+2 more|arXiv (Cornell University)|Dec 6, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用 4

一句话总结

本文提出了一种统一的策略分类框架，引入了策略VC维（SVC），将PAC可学习性推广到数据点对分类结果具有异质偏好之情形。该文全面刻画了线性分类器在策略操纵下的统计可学习性与计算复杂度，表明SVC始终有界于标准VC维，并证明了在一般成本函数下经验风险最小化的NP难性。

ABSTRACT

The study of strategic or adversarial manipulation of testing data to fool a classifier has attracted much recent attention. Most previous works have focused on two extreme situations where any testing data point either is completely adversarial or always equally prefers the positive label. In this paper, we generalize both of these through a unified framework for strategic classification, and introduce the notion of strategic VC-dimension (SVC) to capture the PAC-learnability in our general strategic setup. SVC provably generalizes the recent concept of adversarial VC-dimension (AVC) introduced by Cullina et al. arXiv:1806.01471. We instantiate our framework for the fundamental strategic linear classification problem. We fully characterize: (1) the statistical learnability of linear classifiers by pinning down its SVC; (2) its computational tractability by pinning down the complexity of the empirical risk minimization problem. Interestingly, the SVC of linear classifiers is always upper bounded by its standard VC-dimension. This characterization also strictly generalizes the AVC bound for linear classifiers in arXiv:1806.01471.

研究动机与目标

• 为填补现有文献仅处理极端情况（完全对抗性或统一正向偏好）的空白，提出一种统一的策略分类框架，适用于任意偏好分布。
• 形式化提出策略VC维（SVC）作为衡量策略设定下统计可学习性的指标，其中数据点可战略性地改变特征以影响分类结果。
• 通过推导线性假设类在一般成本函数和偏好集合下的SVC精确值，刻画线性分类器的统计可学习性，表明其SVC始终受标准VC维上界约束。
• 分析经验风险最小化（ERM）在策略分类中的计算复杂度，证明在一般成本函数和偏好集合下其为NP难。
• 通过表明SVC推广了先前的对抗VC维（AVC），并为线性分类器提供更紧致、更全面的界，从而拓展了先前关于AVC的工作。

提出的方法

• 提出一种新颖的策略VC维（SVC）概念，以捕捉策略分类中学习复杂度，其中数据点对正标签具有实值偏好 r ∈ ℝ。
• 将策略行为建模为一个斯塔克尔伯格博弈，其中每个数据点理性地操纵其特征以最大化效用 r·𝕀(h(z)=1) − c(z;x)，其中 c 为成本函数。
• 通过推导一般成本函数和偏好集合下线性假设类的SVC，分析线性分类器的统计可学习性。
• 证明线性分类器的SVC始终受其标准VC维上界约束，推广了关于对抗VC维（AVC）的先前结果。
• 将划分问题归约为一个策略分类实例，以证明在一般成本函数和偏好集合下经验风险最小化（ERM）问题的NP难性。
• 构建特定的困难实例，包含带标签的数据点、成本函数和偏好值，以在对称与非对称偏好情形下证明NP难性。

实验结果

研究问题

• RQ1 我们如何将现有策略分类模型从仅假设完全对抗性或统一正向偏好的情形推广为统一框架？
• RQ2 在具有异质偏好的策略分类中，何种VC维概念能准确捕捉PAC可学习性？
• RQ3 线性分类器的策略VC维（SVC）与其标准VC维之间有何关系？
• RQ4 策略线性分类的经验风险最小化（ERM）问题在计算上是否可解，还是NP难？
• RQ5 我们能否从一个已知的NP难问题（如划分问题）构造归约，以证明策略分类中ERM的困难性？

主要发现

• 线性分类器的策略VC维（SVC）始终受其标准VC维上界约束，提供了强有力的统计泛化保证。
• 所提出的SVC推广了Cullina等人（2018）提出的对抗VC维（AVC），将其适用范围扩展至非对抗性及异质偏好设定。
• 策略线性分类的经验风险最小化（ERM）问题是NP难的，即使偏好有界且成本函数为二次型。
• 通过将划分问题归约为一个策略分类实例，证明了ERM的NP难性，确立了在一般成本函数下的计算不可解性。
• 所构造的困难实例表明，即使偏好并非完全对抗性，混合偏好与非对称成本函数下的策略操纵仍可保持NP难性。