[论文解读] Multiview Transformers for Video Recognition

Shen Yan, Xuehan Xiong+5 more|arXiv (Cornell University)|Jan 12, 2022

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出多视图变换器（MTV），一种新颖的视频识别架构，通过独立的变换器编码器并行处理视频的多个时空视图（采用不同时间长度的管状片段），并引入侧向融合机制。MTV在六个视频数据集上均达到最先进性能，优于更深的单视图变换器模型，且计算量更少（FLOPs更低），并在JFT-300M和WTS等大规模数据集上进行预训练后进一步提升性能。

ABSTRACT

Video understanding requires reasoning at multiple spatiotemporal resolutions -- from short fine-grained motions to events taking place over longer durations. Although transformer architectures have recently advanced the state-of-the-art, they have not explicitly modelled different spatiotemporal resolutions. To this end, we present Multiview Transformers for Video Recognition (MTV). Our model consists of separate encoders to represent different views of the input video with lateral connections to fuse information across views. We present thorough ablation studies of our model and show that MTV consistently performs better than single-view counterparts in terms of accuracy and computational cost across a range of model sizes. Furthermore, we achieve state-of-the-art results on six standard datasets, and improve even further with large-scale pretraining. Code and checkpoints are available at: https://github.com/google-research/scenic/tree/main/scenic/projects/mtv.

研究动机与目标

• 解决单视图变换器在建模视频理解中多分辨率时空上下文方面的局限性。
• 用统一且灵活的框架替代基于金字塔或下采样机制的多尺度处理，采用多个输入视图。
• 通过支持不同时间分辨率的并行处理，改善视频识别中的准确率-计算量权衡。
• 证明增加视图数量带来的准确率提升，大于增加模型深度所带来的收益。
• 在监督和自监督预训练设置下，于标准视频基准上实现最先进性能。

提出的方法

• 通过将视频片段分割为不同时间长度的管状片段（短时用于细粒度动作，长时用于场景上下文），生成多个输入视图。
• 每个视图由专用的变换器编码器处理，其容量可调（例如，较宽视图使用更小的隐藏层尺寸和更少的层数）。
• 编码器之间的侧向连接实现跨视图特征融合，使粗粒度与细粒度表征能够相互交互。
• 最终通过一个全局变换器编码器将所有视图的特征融合为统一表征，用于分类。
• 该架构支持可变数量的视图，并可从'Small'到'Huge'等不同模型规模进行扩展。
• 在JFT-300M和WTS等大规模数据集上进行大规模预训练，以进一步提升性能。

Figure 1 : Overview of our Multiview Transformer. We create multiple input representations, or “views”, of the input, by tokenizing the video using tubelets of different sizes (for clarity, we show two views here). These tokens are then processed by separate encoder streams, which include lateral co

实验结果

研究问题

• RQ1 与单视图变换器相比，并行处理多个视频视图是否能提升视频识别准确率？
• RQ2 增加视图数量是否比增加模型深度带来更大的准确率增益？
• RQ3 与基于金字塔或下采样机制的方法相比，多视图设计能否实现更好的准确率-计算量权衡？
• RQ4 在大规模网络规模视频数据集上结合大规模预训练时，多视图设计的有效性如何？
• RQ5 多视图方法是否与现有的多尺度注意力机制（如MViT或Swin中的机制）具有互补性？

主要发现

• 在Kinetics-400数据集上，MTV-Base模型达到89.9%的Top-1准确率，FLOPs较更深的ViViT-L-FE模型减少40%。
• 在WTS预训练下，MTV在Kinetics-400上达到89.9%的Top-1准确率，较先前最先进方法（CoVeR）提升2.7%。
• 在Kinetics-600上，MTV在WTS预训练下达到90.3%的Top-1准确率，较先前最先进方法绝对提升2.4%。
• 在Epic-Kitchens-100上，MTV-B(320p)在WTS预训练下达到50.5%的Top-1动作准确率，创下新SOTA。
• 在Something-Something V2上，MTV相比ViViT-L-FE提升2.6%，相比MFormer提升0.4%。
• 在Moments in Time上，MTV-L在WTS预训练下达到47.2%的Top-1准确率，超越使用HowTo100M预训练的VATT模型。

(a) An example of CVA for fusion.