[论文解读] Towards Practical Lottery Ticket Hypothesis for Adversarial Training

Bai Li, Shiqi Wang+5 more|arXiv (Cornell University)|Mar 6, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 9

一句话总结

本文提出‘提升票’（boosting tickets）——一种经过剪枝的子网络，在对抗训练过程中收敛速度显著快于标准彩票模型。通过仔细调整超参数（学习率、剪枝率、模型容量）识别这些子网络，作者在使用WideResNet-34-10的CIFAR-10数据集上，将对抗训练时间最多减少49%，同时实现最先进水平的鲁棒性。

ABSTRACT

Recent research has proposed the lottery ticket hypothesis, suggesting that for a deep neural network, there exist trainable sub-networks performing equally or better than the original model with commensurate training steps. While this discovery is insightful, finding proper sub-networks requires iterative training and pruning. The high cost incurred limits the applications of the lottery ticket hypothesis. We show there exists a subset of the aforementioned sub-networks that converge significantly faster during the training process and thus can mitigate the cost issue. We conduct extensive experiments to show such sub-networks consistently exist across various model structures for a restrictive setting of hyperparameters ($e.g.$, carefully selected learning rate, pruning ratio, and model capacity). As a practical application of our findings, we demonstrate that such sub-networks can help in cutting down the total time of adversarial training, a standard approach to improve robustness, by up to 49\% on CIFAR-10 to achieve the state-of-the-art robustness.

研究动机与目标

• 识别在对抗训练过程中收敛速度显著快于标准彩票模型的子网络。
• 研究能够实现子网络更快收敛的超参数（学习率、剪枝率、模型容量）。
• 证明从一个弱鲁棒性模型中剪枝可获得提升票，从而加速强鲁棒性对抗训练。
• 在不牺牲鲁棒性的前提下，降低对抗训练的总训练成本。

提出的方法

• 通过迭代的基于幅度的剪枝与从初始化重新训练，采用改进的彩票模型搜索协议来识别提升票。
• 系统评估学习率、剪枝率和模型容量对提升票性能的影响。
• 对一个弱鲁棒性模型应用基于FGSM的对抗训练，生成剪枝掩码，然后对剪枝后的子网络进行重新训练以实现强鲁棒性。
• 采用两阶段流程：首先训练一个弱鲁棒性模型，然后对其进行剪枝，以找到可在强对抗训练中实现快速收敛的提升票。
• 在WideResNet-34-10上，对比标准对抗训练与基于提升票方法的训练时间与鲁棒准确率。
• 在VGG-16、ResNet-18和WideResNet架构上进行广泛的消融实验，以验证方法的泛化能力。

实验结果

研究问题

• RQ1 是否存在在对抗训练过程中收敛速度显著快于标准彩票模型的子网络？
• RQ2 学习率、剪枝率和模型容量中，哪些超参数对提升效应影响最大？
• RQ3 能否从一个弱鲁棒性模型中找到的提升票来加速强鲁棒性模型的训练？
• RQ4 提升票现象是否在对抗训练设置下依然成立？

主要发现

• 在使用WideResNet-34-10的CIFAR-10数据集中，提升票将总对抗训练时间最多减少49%，并达到最先进水平的鲁棒准确率。
• 在对WideResNet-34-10进行80%参数剪枝的情况下，提升票仅用一个训练周期就达到90.88%的测试准确率，与需要超过30个周期的模型相当。
• 提升效应对学习率、剪枝率和网络容量最为敏感，最优配置可实现快速收敛。
• 提升票存在于对抗训练方案中，可通过剪枝一个弱鲁棒性模型来发现，从而实现强鲁棒性模型的快速训练。
• 该方法在实现比标准Madry等人对抗训练更高的鲁棒准确率的同时，将总训练时间减少了49%。
• 迁移攻击结果表明，使用提升票训练的模型与Madry等人方法训练的模型之间存在共享决策边界，表明鲁棒性对齐。