[论文解读] Sparse Transfer Learning via Winning Lottery Tickets

Rahul Mehta|arXiv (Cornell University)|May 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用 20

一句话总结

该论文通过展示从CIFAR-10上微调的源网络中剪枝得到的稀疏子网络（胜出票）可被微调用于SmallNORB和FashionMNIST等目标任务，将胜出票假设扩展至迁移学习。在迭代剪枝下，胜出票可保留最少5.5%的参数，微调后性能达到或超过完整网络。

ABSTRACT

The recently proposed Lottery Ticket Hypothesis of Frankle and Carbin (2019) suggests that the performance of over-parameterized deep networks is due to the random initialization seeding the network with a small fraction of favorable weights. These weights retain their dominant status throughout training -- in a very real sense, this sub-network "won the lottery" during initialization. The authors find sub-networks via unstructured magnitude pruning with 85-95% of parameters removed that train to the same accuracy as the original network at a similar speed, which they call winning tickets. In this paper, we extend the Lottery Ticket Hypothesis to a variety of transfer learning tasks. We show that sparse sub-networks with approximately 90-95% of weights removed achieve (and often exceed) the accuracy of the original dense network in several realistic settings. We experimentally validate this by transferring the sparse representation found via pruning on CIFAR-10 to SmallNORB and FashionMNIST for object recognition tasks.

研究动机与目标

• 探究通过非结构化权重大小剪枝在源任务上识别出的稀疏子网络（胜出票）是否可有效迁移至不同目标任务。
• 通过形式化提出一种适用于迁移学习场景的胜出票迁移假设，以解决原始胜出票假设与迁移学习设置之间的不一致。
• 评估一次性剪枝与迭代剪枝在不同架构和数据集上识别可迁移胜出票的性能表现。
• 确定仅微调全连接层或整个网络时，从稀疏子网络中获得的迁移性能哪个更优。

提出的方法

• 在CIFAR-10上预训练的ResNet18和VGG19模型上，通过迭代非结构化权重大小剪枝识别胜出票。
• 提取由基于权重大小的掩码 $m$ 定义的稀疏子网络，仅保留 $m_{i} = 1$ 的权重。
• 在目标数据集（SmallNORB、FashionMNIST）上微调稀疏子网络，该子网络使用剪枝后的权重初始化（$m \odot \theta_S$），同时选择性地冻结或微调卷积层。
• 比较在剪枝后使用剪枝源权重初始化的子网络（$m \odot \theta_S$）与重置为原始初始化的子网络（$m \odot \theta_0$）在下游任务上的性能。
• 使用迭代剪枝（重复剪枝与微调）和一次性剪枝（单次剪枝步骤）评估鲁棒性及稀疏度-准确率权衡。
• 将胜出票迁移假设形式化为原始LTH的修改版本，专为迁移学习场景设计。

实验结果

研究问题

• RQ1 通过非结构化权重大小剪枝在源任务（CIFAR-10）上识别出的胜出票，是否可成功迁移至不同目标任务（SmallNORB、FashionMNIST），并实现相当或更优的准确率？
• RQ2 迁移后胜出票的性能是否取决于仅微调全连接层还是整个网络？
• RQ3 在识别高稀疏度与高准确率的可迁移胜出票方面，迭代剪枝与一次性剪枝相比表现如何？
• RQ4 来自更大架构（如VGG19）的胜出票是否能有效迁移至下游任务，还是其具有任务特异性？
• RQ5 在迁移后，原始胜出票初始化方式（$m \odot \theta_0$）是否仍有效，还是源网络训练后的权重初始化（$m \odot \theta_S$）能带来更优结果？

主要发现

• 在从CIFAR-10到SmallNORB的迁移中，通过迭代剪枝发现的胜出票仅保留5.5%的参数，测试准确率达到90.2%。
• 在FashionMNIST上微调整个网络时，ResNet18的最佳胜出票仅保留6.9%的参数，测试准确率达到91.7%。
• 在下游任务中，使用剪枝后源网络权重初始化的子网络（$m \odot \theta_S$）始终优于重置为原始初始化的子网络（$m \odot \theta_0$）。
• 与一次性剪枝相比，迭代剪枝生成的胜出票稀疏度更高且准确率更优；后者在SmallNORB上任何稀疏度水平下均未能找到胜出票。
• 来自VGG19的胜出票在微调整个网络时未能有效迁移至下游任务，在任何剪枝水平下均未达到相应准确率。
• 重初始化的胜出票（$m \odot \theta_0$）性能严重下降，表明源任务训练后的权重对迁移能力至关重要。