[论文解读] The Complexity of Adversarially Robust Proper Learning of Halfspaces with Agnostic Noise

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Jul 30, 2020

Machine Learning and Algorithms参考文献 59被引用 4

一句话总结

本文确定了在分布无关的恶意 PAC 模型下，$L_p$ 误差扰动下半空间对抗性鲁棒正确学习的计算复杂度。它提出了一个针对 $p \geq 2$ 的 $L_p$-margin 学习的计算高效学习算法，并证明了一个近乎匹配的困难性结果，表明 $L_\infty$ 情况比 $2 \leq p < \infty$ 的 $L_p$ 情况在计算上更困难，凸显了这些范数之间计算难度的根本性差异。

ABSTRACT

We study the computational complexity of adversarially robust proper learning of halfspaces in the distribution-independent agnostic PAC model, with a focus on $L_p$ perturbations. We give a computationally efficient learning algorithm and a nearly matching computational hardness result for this problem. An interesting implication of our findings is that the $L_{\infty}$ perturbations case is provably computationally harder than the case $2 \leq p &lt; \infty$.

研究动机与目标

• 理解在分布无关的恶意 PAC 模型下，半空间对抗性鲁棒正确学习的计算复杂度。
• 在 $L_p$ 误差扰动下分析该问题，特别关注 $L_2$ 与 $L_\infty$ 范数之间的区别。
• 为鲁棒学习建立一个近乎匹配的计算困难性结果，表明 $L_\infty$-鲁棒学习在计算上比 $L_p$-鲁棒学习更困难，其中 $2 \leq p < \infty$。
• 通过略微放松鲁棒性和误差保证，弥合已知困难性结果与高效算法之间的差距，从而实现高效的正确学习。

提出的方法

• 作者将鲁棒学习问题约化为经典恶意正确 PAC 学习中的 $L_p$-margin 半空间问题，利用 $L_p$ 与 $L_q$ 范数之间的对偶性，其中 $1/p + 1/q = 1$。
• 他们设计了一个计算高效的算法，输出一个在稍小扰动半径 $(1-\nu)\gamma$ 内的半空间假设，并实现对最优鲁棒误差的 $\alpha$-近似。
• 困难性结果通过从 Label Cover 问题约化得出，利用概率分析来界定随机赋值弱覆盖标签覆盖实例中顶点的概率。
• 分析涉及对随机标记 $\phi$ 的期望弱值进行有界，使用度数约束和邻居对之间的组合有界。
• 约化被构造为保持近似比，表明任何能实现优于 2 的近似比的高效算法都将与 Gap-ETH 下 Label Cover 的不可近似性矛盾。
• 证明技术依赖于概率方法和集中不等式，以表明存在具有高弱值的标记，从而暗示存在一个良好的假设。

实验结果

研究问题

• RQ1 在 $2 \leq p < \infty$ 条件下，$L_p$ 误差扰动下的半空间对抗性鲁棒正确学习是否在计算上是可行的？
• RQ2 $L_\infty$-鲁棒学习半空间的计算复杂度与 $L_p$-鲁棒学习相比如何，其中 $2 \leq p < \infty$？
• RQ3 困难性结果能否被加强，以排除优于 2 的近似比，或扩展到更大的 margin gap？
• RQ4 在 Gap-ETH 下的困难性结果是否紧致？或者能否在更弱的指数时间假设（ETH）下证明？
• RQ5 非正确学习算法能否在该问题上实现显著优于正确学习者的运行时间？

主要发现

• 本文提出了一种针对 $p \geq 2$ 的 $L_p$-margin 半空间学习的计算高效正确学习算法，在稍小的扰动半径 $(1-\nu)\gamma$ 内实现对最优鲁棒误差的 $\alpha$-近似。
• 建立了一个近乎匹配的计算困难性结果，表明 $L_\infty$-鲁棒学习在计算上比 $L_p$-鲁棒学习更困难，其中 $2 \leq p < \infty$，表明这些范数之间存在根本的复杂度差距。
• 困难性结果基于从 Label Cover 的约化，表明在标准复杂度假设下，任何高效算法都无法实现优于 2 的近似比，即使在鲁棒性被放松的情况下也是如此。
• 标签覆盖实例中随机标记的期望弱值被下界为 $\mu = \frac{0.01t}{\Delta(\Delta-1)}$，意味着存在一个具有高弱值的标记，这对应于学习问题中的一个良好假设。
• 该结果意味着，即使两者同属鲁棒学习问题的一般类别，$L_\infty$-margin 设置在本质上比 $L_p$ 更复杂，其中 $2 \leq p < \infty$。
• 本文留下了在 ETH 下更强困难性结果的可能性，以及非正确学习算法可能实现更快运行时间的潜力，为未来工作指明了方向。