[论文解读] Towards Robust Dataset Learning

Yihan Wu, Xinda Li+3 more|arXiv (Cornell University)|Nov 19, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出一种三重优化框架，用于学习一个鲁棒数据集，使得在该数据集上进行自然训练可得到对抗鲁棒的模型。通过将分类器建模为数据集的函数，并同时优化干净准确率与鲁棒准确率，该方法在 AutoAttack 下于 CIFAR10 上实现了 59.52% 的鲁棒准确率——比当前最先进方法高出 11.3 个百分点——同时实现极低计算成本的快速下游训练。

ABSTRACT

Adversarial training has been actively studied in recent computer vision research to improve the robustness of models. However, due to the huge computational cost of generating adversarial samples, adversarial training methods are often slow. In this paper, we study the problem of learning a robust dataset such that any classifier naturally trained on the dataset is adversarially robust. Such a dataset benefits the downstream tasks as natural training is much faster than adversarial training, and demonstrates that the desired property of robustness is transferable between models and data. In this work, we propose a principled, tri-level optimization to formulate the robust dataset learning problem. We show that, under an abstraction model that characterizes robust vs. non-robust features, the proposed method provably learns a robust dataset. Extensive experiments on MNIST, CIFAR10, and TinyImageNet demostrate the effectiveness of our algorithm with different network initializations and architectures.

研究动机与目标

• 开发一种系统性方法，用于学习一个数据集，使得在该数据集上进行自然训练的任何模型都能对对抗扰动保持鲁棒性。
• 通过将鲁棒性从模型转移到数据，克服对抗训练带来的高计算成本。
• 实现在不同模型架构和权重初始化之间鲁棒性的可迁移性。
• 在将鲁棒特征与非鲁棒特征分离的特征抽象模型中，为鲁棒性提供理论保证。
• 证明：通过该方法，仅使用原始大小 10% 的小规模鲁棒数据集，即可在极低训练开销下实现高鲁棒准确率。

提出的方法

• 将鲁棒数据集学习建模为三重优化问题：优化数据集以提升数据参数化分类器的鲁棒性。
• 将模型权重参数化为数据集的函数，从而实现对数据鲁棒性的端到端优化。
• 在内层循环中使用对抗攻击生成，以识别并惩罚数据集优化过程中的非鲁棒特征。
• 采用理论抽象模型，区分鲁棒与非鲁棒特征，以证明所学数据集的可证明鲁棒性。
• 应用基于梯度的优化方法，迭代优化数据集，以最大化所得分类器的干净准确率与鲁棒准确率。
• 使用 AutoAttack 及其他对抗基准测试，评估在多样化威胁模型下的鲁棒性。

实验结果

研究问题

• RQ1 能否学习到一个数据集，使得在该数据集上进行自然训练可得到对对抗扰动鲁棒的模型？
• RQ2 在不同模型架构和权重初始化下，数据集中学习到的鲁棒性是否具有可迁移性？
• RQ3 通过该方法，是否能用显著更小的数据集（例如原始大小的 10%）实现高鲁棒准确率？
• RQ4 所提出的三重优化框架是否在特征抽象模型下理论上保证学习到鲁棒数据集？
• RQ5 与对抗性数据（来自鲁棒分类器）或特征提取方法等基线方法相比，该方法的性能如何？

主要发现

• 在 AutoAttack 的 0.25 ℓ₂ 威胁模型下，该方法在 CIFAR10 上实现了 59.52% 的鲁棒准确率，比之前最先进方法的 48.20% 高出 11.32 个百分点。
• 在 MNIST 上使用 0.2 ℓ∞ 威胁模型，该方法实现了 52.51% 的鲁棒准确率，表现出对不同随机种子的强泛化能力（±0.59）。
• 即使仅使用原始数据集大小的 10%，该方法在 CIFAR10 上仍实现 42.61% 的鲁棒准确率，在 TinyImageNet 上实现 24.38% 的鲁棒准确率，展现出良好的可扩展性与效率。
• 该鲁棒数据集支持可迁移性：使用不同架构（如 ResNet-34、ResNet-50）和初始化方式训练的分类器，在各类攻击下均表现出高鲁棒性。
• 该方法优于基线方法，如来自鲁棒分类器的对抗性数据，后者在自然训练下仍导致非鲁棒模型。
• 在 A5000 GPU 上，该鲁棒数据集的训练时间约为 2 小时，而基于其微调分类器的时间不足 10 分钟——远快于需要超过一天的对抗训练。