[论文解读] Revisiting Classifier: Transferring Vision-Language Models for Video Recognition

Wenhao Wu, Zhun Sun+1 more|arXiv (Cornell University)|Jul 4, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

该论文提出了一种新颖的视频识别范式，用视觉-语言模型（如CLIP）中预训练的文本嵌入替换标准的线性分类器头，实现了更快的收敛速度和最先进（SOTA）的准确率。通过利用文本编码器中的语义知识来初始化分类器，该方法在Kinetics-400数据集上达到87.8%的top-1准确率，并在零样本和少样本设置下实现了高达50%的绝对准确率提升，同时仅需极少的模型修改，显著提升了训练效率。

ABSTRACT

Transferring knowledge from task-agnostic pre-trained deep models for downstream tasks is an important topic in computer vision research. Along with the growth of computational capacity, we now have open-source vision-language pre-trained models in large scales of the model architecture and amount of data. In this study, we focus on transferring knowledge for video classification tasks. Conventional methods randomly initialize the linear classifier head for vision classification, but they leave the usage of the text encoder for downstream visual recognition tasks undiscovered. In this paper, we revise the role of the linear classifier and replace the classifier with the different knowledge from pre-trained model. We utilize the well-pretrained language model to generate good semantic target for efficient transferring learning. The empirical study shows that our method improves both the performance and the training speed of video classification, with a negligible change in the model. Our simple yet effective tuning paradigm achieves state-of-the-art performance and efficient training on various video recognition scenarios, i.e., zero-shot, few-shot, general recognition. In particular, our paradigm achieves the state-of-the-art accuracy of 87.8% on Kinetics-400, and also surpasses previous methods by 20~50% absolute top-1 accuracy under zero-shot, few-shot settings on five popular video datasets. Code and models can be found at https://github.com/whwu95/Text4Vis .

研究动机与目标

• 通过利用视觉-语言预训练模型中文本编码器的知识，提升其在视频分类任务中的可迁移性。
• 解决标准微调流程中对文本编码器利用不足的问题。
• 用来自预训练文本嵌入的语义知识替换随机初始化的分类器头，以提升性能和训练速度。
• 通过极低的计算成本实现强少样本和零样本性能，推动高效视频识别的普及。

提出的方法

• 用视觉-语言模型文本编码器中固定提取的预训练文本嵌入替换标准的线性分类器头。
• 使用CLIP模型的文本编码器为每个类别标签生成语义向量，这些向量随后被用作分类器的权重矩阵。
• 仅端到端训练视觉编码器，使用交叉熵损失，同时保持文本分类器权重冻结。
• 比较不同的初始化策略：随机初始化、正交初始化、基于视觉统计的（LDA）初始化，以及语义文本嵌入初始化。
• 采用基于对比学习的基线方法进行对比，该方法需要批量聚合，并更新文本编码器。
• 使用分布式数据并行训练以确保公平比较，并在多张GPU上实现高效训练。

实验结果

研究问题

• RQ1 视觉-语言模型中预训练的文本嵌入能否提升视频分类任务中视觉表征的可迁移性？
• RQ2 与随机或正交初始化相比，使用语义文本向量作为分类器权重在准确率和收敛速度方面表现如何？
• RQ3 在仅微调视觉编码器的同时冻结文本编码器，对下游视频识别性能有何影响？
• RQ4 与现有的对比学习范式相比，该方法在零样本和少样本设置下的表现如何？
• RQ5 该方法能否在显著降低训练成本和FLOPs的前提下实现最先进性能？

主要发现

• 该方法在Kinetics-400数据集上达到87.8%的top-1准确率，创下视频识别新SOTA记录。
• 与先前方法相比，在五个视频数据集上，该方法在零样本和少样本设置下准确率绝对提升达20–50个百分点。
• 与基于对比学习的基线相比，训练时间减少2倍（在8张V100 GPU上仅需10小时），后者需要批量聚合且训练时间更长。
• 在相同准确率下，该方法的吞吐量比ViViT-L/16-320高出29倍，FLOPs减少44倍，展现出卓越的效率。
• 使用ViT-B/16时，该方法仅用3.3个V100天的训练量即可达到81.5%的top-1准确率，相比对比基线方法提升0.8%，且收敛更快。
• 多视角评估协议进一步将性能提升至82.9%的top-1准确率，表明该方法具有出色的鲁棒性。