[论文解读] Playing Lottery Tickets with Vision and Language

Zhe Gan, Yen‐Chun Chen+7 more|arXiv (Cornell University)|Apr 23, 2021

Multimodal Machine Learning Applications被引用 8

一句话总结

本文研究了视觉-语言（VL）预训练模型中的彩票猜想（LTH），证明了在 UNITER、LXMERT 和 ViLT 等模型中存在可训练子网络（“赢家票”）。通过迭代的基于权重大小的剪枝方法，发现子网络在 60–70% 的稀疏度下，可在七个 VL 任务中保持 96–98% 的完整模型准确率，且基于预训练的票具有强大的通用迁移能力。

ABSTRACT

Large-scale pre-training has recently revolutionized vision-and-language (VL) research. Models such as LXMERT and UNITER have significantly lifted the state of the art over a wide range of VL tasks. However, the large number of parameters in such models hinders their application in practice. In parallel, work on the lottery ticket hypothesis (LTH) has shown that deep neural networks contain small matching subnetworks that can achieve on par or even better performance than the dense networks when trained in isolation. In this work, we perform the first empirical study to assess whether such trainable subnetworks also exist in pre-trained VL models. We use UNITER as the main testbed (also test on LXMERT and ViLT), and consolidate 7 representative VL tasks for experiments, including visual question answering, visual commonsense reasoning, visual entailment, referring expression comprehension, image-text retrieval, GQA, and NLVR$^2$. Through comprehensive analysis, we summarize our main findings as follows. ($i$) It is difficult to find subnetworks that strictly match the performance of the full model. However, we can find "relaxed" winning tickets at 50%-70% sparsity that maintain 99% of the full accuracy. ($ii$) Subnetworks found by task-specific pruning transfer reasonably well to the other tasks, while those found on the pre-training tasks at 60%/70% sparsity transfer universally, matching 98%/96% of the full accuracy on average over all the tasks. ($iii$) Besides UNITER, other models such as LXMERT and ViLT can also play lottery tickets. However, the highest sparsity we can achieve for ViLT is far lower than LXMERT and UNITER (30% vs. 70%). ($iv$) LTH also remains relevant when using other training methods (e.g., adversarial training).

研究动机与目标

• 探究彩票猜想（LTH）是否适用于 UNITER、LXMERT 和 ViLT 等大规模视觉-语言（VL）预训练模型。
• 确定是否可在 VL 模型中识别出可训练子网络（赢家票），其性能可匹配或几乎匹配完整模型。
• 评估这些子网络在多种 VL 下游任务及预训练任务之间的迁移能力。
• 评估 LTH 与不同模型架构（如单流 vs. 双流）以及训练策略（如对抗性训练）的兼容性。

提出的方法

• 采用迭代基于权重大小的剪枝（IMP）方法，通过反复训练、剪枝和再训练，在预训练的 VL 模型中识别子网络。
• 使用原始预训练权重作为再训练中识别出的子网络的初始化，以验证其性能。
• 分别在下游任务上应用 IMP 以找到任务特定的赢家票，在预训练任务上应用 IMP 以找到任务无关的赢家票。
• 通过比较标准交叉熵训练和对抗性训练所发现的票的性能，评估其鲁棒性。
• 通过在其他下游任务上测试在某一任务上训练的子网络来评估迁移能力，测量准确率保持率。
• 分析不同任务间的稀疏度模式和相似性，以理解 VL 模型中共享的归纳偏置。

实验结果

研究问题

• RQ1 是否可在视觉-语言预训练模型（如 UNITER、LXMERT 和 ViLT）中找到赢家票？
• RQ2 在预训练任务上训练的子网络是否能普遍迁移至下游 VL 任务？
• RQ3 模型架构（如单流 vs. 双流）如何影响赢家票的稀疏度和性能？
• RQ4 在视觉-语言模型中，对抗性训练下彩票猜想是否依然成立？

主要发现

• 在 50–70% 稀疏度下的子网络可实现完整模型 99% 的准确率，表明 VL 模型中存在“宽松”的赢家票。
• 在预训练任务上找到的赢家票具有普遍迁移能力，在 60% 和 70% 稀疏度下分别达到完整模型 98% 和 96% 的准确率。
• ViLT 的最高可实现稀疏度仅为 30%，显著低于 LXMERT 和 UNITER 的 70%，这是由于其端到端的基于图像块的输入方式和统一的 Transformer 设计。
• 通过对抗性训练找到的赢家票在 80% 和 70% 稀疏度下，性能分别与标准训练在 70% 和 60% 稀疏度下的票相当，表明其对对抗性训练具有鲁棒性。
• 任务特定的赢家票在下游任务间具有合理的迁移能力，而基于预训练的票在迁移性能上始终优于任务特定的票。
• 在 70% 稀疏度下，通用子网络在全部七个 VL 任务上的平均准确率匹配完整模型的 96%，在排除 VCR 任务后匹配率达到 99%。