[论文解读] The Search for Sparse, Robust Neural Networks
本文提出一种结合彩票机制与对抗训练的方法，以发现稀疏且鲁棒的神经网络。结果表明，通过迭代剪枝与重训练识别出的子网络，即使在96.4%的稀疏度下，其对抗性准确率仍高于对应的稠密模型，同时训练速度更快且自然准确率具有竞争力。
Recent work on deep neural network pruning has shown there exist sparse subnetworks that achieve equal or improved accuracy, training time, and loss using fewer network parameters when compared to their dense counterparts. Orthogonal to pruning literature, deep neural networks are known to be susceptible to adversarial examples, which may pose risks in security- or safety-critical applications. Intuition suggests that there is an inherent trade-off between sparsity and robustness such that these characteristics could not co-exist. We perform an extensive empirical evaluation and analysis testing the Lottery Ticket Hypothesis with adversarial training and show this approach enables us to find sparse, robust neural networks. Code for reproducing experiments is available here: https://github.com/justincosentino/robust-sparse-networks.
研究动机与目标
- 探究稀疏子网络是否能在不依赖过参数化模型的情况下实现高对抗鲁棒性。
- 检验假设：鲁棒性如同准确率，可能源于过参数化网络中偶然的权重初始化。
- 评估彩票机制是否可扩展至通过对抗训练寻找稀疏且鲁棒的神经网络。
- 在不同稀疏度与对抗攻击下，比较彩票机制剪枝、持续训练与随机重初始化剪枝的性能。
提出的方法
- 使用基于权重大小的标准，对稠密的过参数化神经网络进行迭代非结构化剪枝。
- 根据彩票机制，在隔离状态下对剪枝后的子网络进行重训练，以识别出‘胜出的彩票’。
- 在重训练阶段集成使用FGSM和PGD攻击的对抗训练，以增强鲁棒性。
- 在MNIST和Fashion-MNIST数据集上，于多个稀疏度水平（1.8%至96.4%）评估模型性能。
- 基于验证损失采用早停策略，比较不同方法的训练效率。
- 比较不同剪枝策略的性能：彩票机制、持续训练与随机重初始化剪枝。
实验结果
研究问题
- RQ1通过彩票机制识别出的稀疏子网络，其对抗鲁棒性是否可与或优于其稠密对应模型？
- RQ2稀疏度与对抗鲁棒性之间是否存在权衡，还是可同时实现两者？
- RQ3在彩票机制重训练过程中引入对抗训练，如何影响稀疏模型的最终鲁棒性与泛化能力？
- RQ4在高稀疏度下，持续训练是否在鲁棒性方面优于彩票机制剪枝，特别是在PGD等更强攻击下？
- RQ5在何种稀疏度水平下，彩票机制在自然准确率与对抗准确率方面均持续优于其他剪枝方法？
主要发现
- 最佳鲁棒性彩票机制子网络达到16.9%稀疏度，其对抗准确率优于原始稠密网络，且自然准确率相近。
- 在96.4%稀疏度下，胜出的彩票机制子网络仍实现了高于稠密模型的对抗准确率，反驳了稀疏度与鲁棒性之间存在权衡的普遍信念。
- 彩票机制训练速度优于原始稠密网络，在基于验证损失的早停策略下取得了更优结果。
- 在PGD攻击下，MNIST数据集上51.3%稀疏度时，持续训练优于彩票机制剪枝，表明更强攻击可能更青睐其他剪枝策略。
- 在最高稀疏度水平（3.6%与1.8%）下，彩票机制始终优于其他方法，表明在超过某一稀疏度阈值后，偶然初始化变得至关重要。
- 在所有评估场景中，随机重初始化剪枝均被其他方法超越，表明在大规模场景下，初始化感知剪枝对鲁棒性至关重要。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。