[论文解读] VC Classes are Adversarially Robustly Learnable, but Only Improperly

Omar Montasser, Steve Hanneke+1 more|arXiv (Cornell University)|Feb 12, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用 43

一句话总结

该论文表明，任意有限VC维度的类在对抗扰动下通过不当学习规则进行鲁棒PAC学习时是鲁棒可 PAC 学习的，而某些有限VC类别在任何适当规则下都不是鲁棒PAC学习的。

ABSTRACT

We study the question of learning an adversarially robust predictor. We show that any hypothesis class $\mathcal{H}$ with finite VC dimension is robustly PAC learnable with an improper learning rule. The requirement of being improper is necessary as we exhibit examples of hypothesis classes $\mathcal{H}$ with finite VC dimension that are not robustly PAC learnable with any proper learning rule.

研究动机与目标

• 在给定的假设类及指定对手下，何时可能实现对抗性鲁棒的PAC学习。
• 区分鲁棒设定中的适当学习和不当学习，并确定在何种情况下需要不当学习。
• 在VC假设下，给出鲁棒学习的样本复杂度的有限样本和渐近界界限。

提出的方法

• 在对手映射U下建立鲁棒风险并在可实现和不可知设定中定义鲁棒PAC学习。
• 给出一个负结果：存在一个有限VC类，在任何适当规则下都不可鲁棒PAC学习。
• 证明一个正结果：任何有限VC类都可以通过不当学习规则实现鲁棒PAC学习，样本复杂度界与对偶VC维度vc*(H)相关。
• 开发基于样本压缩/提升的学习方案，达到零经验鲁棒损失并产生鲁棒学习者。
• 利用从不可知学习到可实现学习的化简，将可实现结果推广到不可知设置。

实验结果

研究问题

• RQ1 有限VC维假设类在对抗扰动下能否被鲁棒PAC学习，且适当学习是否足够？
• RQ2 适当学习在鲁棒PAC学习中的局限性是什么，是否可以通过不当学习来克服？
• RQ3 在对抗鲁棒性下，样本复杂度及界如何依赖于VC(H)和对偶VC维vc*(H)？
• RQ4 从不可知到可实现学习的化简能否推广到鲁棒学习设定？
• RQ5 哪些具有构造性的学习程序可以实现有限VC类的鲁棒泛化？

主要发现

• 存在一个vc(H) ≤ 1的有限VC类，在某些对手下，使用任何适当学习规则都不可鲁棒PAC学习。
• 对任意对手U和任意有限VC类H，总存在一个不当学习规则能鲁棒PAC学习H，尽管其对vc(H)可能呈指数依赖。
• 有限VC维足以实现不当鲁棒学习，借助扩展到压缩/提升技术的类似RERM的方法实现鲁棒泛化。
• 利用样本压缩方法得到一个可实现鲁棒学习界，界取决于vc(H)和对偶VC维vc*(H)。
• 在不可知设定下，鲁棒可实现性来自于对可实现情形的化简，从而给出有限样本保真且与vc(H)和vc*(H)相关的界。
• 基于压缩的论证提供了构造性程序，并暗示在某些情况下鲁棒可学习性可能需要不当学习。