[论文解读] Unlabeled Data Improves Adversarial Robustness

Yair Carmon, Aditi Raghunathan+3 more|arXiv (Cornell University)|May 31, 2019

Adversarial Robustness in Machine Learning参考文献 58被引用 73

一句话总结

本文表明，通过半监督自训练的未标记数据可以在理论的高斯模型和在 CIFAR-10 和 SVHN 的实证中显著提升对抗鲁棒性，并超过先前的鲁棒方法。

ABSTRACT

We demonstrate, theoretically and empirically, that adversarial robustness can significantly benefit from semisupervised learning. Theoretically, we revisit the simple Gaussian model of Schmidt et al. that shows a sample complexity gap between standard and robust classification. We prove that unlabeled data bridges this gap: a simple semisupervised learning procedure (self-training) achieves high robust accuracy using the same number of labels required for achieving high standard accuracy. Empirically, we augment CIFAR-10 with 500K unlabeled images sourced from 80 Million Tiny Images and use robust self-training to outperform state-of-the-art robust accuracies by over 5 points in (i) $\ell_\infty$ robustness against several strong attacks via adversarial training and (ii) certified $\ell_2$ and $\ell_\infty$ robustness via randomized smoothing. On SVHN, adding the dataset's own extra training set with the labels removed provides gains of 4 to 10 points, within 1 point of the gain from using the extra labels.

研究动机与目标

• 将对抗鲁棒性作为一个可利用未标记数据的稳定性问题来激励研究。
• 在高斯模型中展示标准分类与鲁棒分类之间的样本复杂度差距，以及未标记数据如何弥合这一差距。
• 提出鲁棒自训练（RST），将伪标签与鲁棒训练相结合。
• 在 CIFAR-10 和 SVHN 上使用大规模未标记数据集并结合随机化平滑进行认证，展示经验提升。

提出的方法

• 分析一个高维高斯模型，以比较有无未标记数据时的标准学习与鲁棒学习。
• 应用自训练，其中一个中间模型对未标记数据进行标签，从而形成最终的鲁棒分类器。
• 提出鲁棒自训练（RST），其最小化结合标注数据与伪标记数据的鲁棒损失。
• 使用对抗训练（PG）或稳定性训练（随机化平滑）来近似鲁棒性目标。
• 在 CIFAR-10 上使用 500K 未标记的 Tiny Images，在 SVHN 上使用额外未标记数据进行评估，同时测量启发式鲁邦性和认证鲁邦性。

实验结果

研究问题

• RQ1 未标记数据是否能缩小标准分类与鲁棒分类之间的样本复杂度差距？
• RQ2 使用与标准准确率相同数量的标注，伪标签驱动的自训练是否能获得较高的鲁棒准确率？
• RQ3 在对抗性和认证评估下，未标记数据在 CIFAR-10 和 SVHN 上能提供多少鲁棒性提升？
• RQ4 鲁棒自训练对无关未标记数据以及未标记数据量的敏感性如何？
• RQ5 在鲁棒性方面，鲁棒自训练与其他半监督与数据增强方法相比如何？

主要发现

• 在高斯模型中，使用 O(n0 ε^2 sqrt(d/n0)) 未标记样本加 n0 标签的自训练实现高鲁棒准确率，弥合了此前观察到的差距。
• 在 CIFAR-10 上，使用 500K 未标记 Tiny Images 的鲁邦自训练在对抗鲁棒性上比现有最先进鲁棒准确率高出 5–7 点以上，并提升了认证的 ℓ2/ℓ∞ 鲁棒性。
• 在 SVHN 上使用额外未标记数据时，RST 可带来 4–10 点的鲁棒性提升，伪标签贡献了大部分收益（标注几乎没有额外收益）。
• 鲁棒自训练在鲁棒性提升方面可超越如 VAT 等其他半监督方法；伪标签驱动的未标记数据在很大程度上推动了改进。
• 通过带未标记数据的稳定性训练获得的认证鲁棒性实现了强的 ℓ2 鲁棒性和具有竞争力的 ℓ∞ 认证，同时也带来标准准确率的提升。