[论文解读] Temporally-Adaptive Models for Efficient Video Understanding

Ziyuan Huang, Shiwei Zhang+5 more|arXiv (Cornell University)|Aug 10, 2023

Human Pose and Action Recognition被引用 7

一句话总结

本文提出时序自适应卷积（TAdaConv），一种即插即用模块，通过利用局部和全局时序上下文自适应校准每帧的卷积核权重，为空间卷积引入动态时序建模能力。TAdaConv 提升了效率与性能，使 TAdaConvNeXtV2 和 TAdaFormer 等模型在动作识别与定位基准上实现最先进结果，同时计算量更低且泛化能力更强。

ABSTRACT

Spatial convolutions are extensively used in numerous deep video models. It fundamentally assumes spatio-temporal invariance, i.e., using shared weights for every location in different frames. This work presents Temporally-Adaptive Convolutions (TAdaConv) for video understanding, which shows that adaptive weight calibration along the temporal dimension is an efficient way to facilitate modeling complex temporal dynamics in videos. Specifically, TAdaConv empowers spatial convolutions with temporal modeling abilities by calibrating the convolution weights for each frame according to its local and global temporal context. Compared to existing operations for temporal modeling, TAdaConv is more efficient as it operates over the convolution kernels instead of the features, whose dimension is an order of magnitude smaller than the spatial resolutions. Further, kernel calibration brings an increased model capacity. Based on this readily plug-in operation TAdaConv as well as its extension, i.e., TAdaConvV2, we construct TAdaBlocks to empower ConvNeXt and Vision Transformer to have strong temporal modeling capabilities. Empirical results show TAdaConvNeXtV2 and TAdaFormer perform competitively against state-of-the-art convolutional and Transformer-based models in various video understanding benchmarks. Our codes and models are released at: https://github.com/alibaba-mmai-research/TAdaConv.

研究动机与目标

• 解决标准空间卷积在视频理解中效率低下且时序建模能力有限的问题。
• 在不牺牲预训练权重或引入高计算成本的前提下，实现无需微调的动态、帧级卷积核自适应。
• 通过将局部和全局时序上下文融入卷积核校准，提升卷积神经网络与基于 Transformer 的视频模型的时序建模能力。
• 在保持效率与可扩展性的前提下，实现与最先进模型相当的性能。
• 通过大规模预训练与后预训练，展示模型在零样本与少样本设置下的强大泛化能力。

提出的方法

• TAdaConv 将每帧的卷积核分解为 $\mathbf{W}_t = \bm{\alpha}_t \cdot \mathbf{W}_b$，其中 $\mathbf{W}_b$ 为可学习的基础权重，$\bm{\alpha}_t$ 为时序校准权重。
• 校准权重 $\bm{\alpha}_t$ 通过相邻帧的帧描述符与全局视频描述符，利用多头自注意力机制生成，以捕捉长距离时序依赖。
• 引入 TAdaBlocks 作为增强型模块，将 TAdaConv 与高效的时序特征聚合机制结合，适用于 ConvNeXt 与视觉 Transformer 架构。
• TAdaConvV2 通过优化校准机制并引入更有效的基于注意力的全局上下文编码器，改进了原始 TAdaConv。
• TAdaConvNeXtV2 与 TAdaFormer 模型采用 ImageNet 预训练，并在 Kinetics-710 上进一步进行后预训练，以提升零样本与少样本性能。
• 该方法设计为即插即用，保留预训练权重，无需从头训练即可高效适配视频任务。

实验结果

研究问题

• RQ1 与固定权重卷积相比，沿时序维度进行自适应核校准是否能提升视频理解的效率与准确性？
• RQ2 一种基于核级别的自适应机制是否能在保留预训练权重的同时，实现视频模型中强大的时序建模能力？
• RQ3 在计算成本与性能方面，TAdaConv 与标准 1D 时序卷积及其它动态滤波方法相比表现如何？
• RQ4 TAdaConv 在动作识别与定位任务中，对卷积神经网络与基于 Transformer 的视频模型的性能提升程度如何？
• RQ5 大规模预训练与后预训练是否能进一步提升 TAda 模型在下游视频基准上的零样本泛化能力？

主要发现

• TAdaConvNeXtV2-S 使用 32 帧，在 Kinetics-400 上比 Swin-B 高出 1.3%，计算量仅为后者的 57%，展现出极高的效率与准确性。
• 在相似预训练条件下，TAdaConvNeXt-B 在 Something-Something-V1 与 V2 上分别比 TDN-R101 高出 3.9% 与 2.9% 的准确率。
• TAdaFormer-L/14 在 SSV1 与 SSV2 上分别比 UniFormerV2-L/14 高出 0.8% 与 0.5%，在时序建模任务中表现优异。
• TAdaFormer-B/16 在 UCF101 与 HMDB51 上的零样本准确率优于微调后的 CLIP ViFi-CLIP，且通过模型缩放与后预训练进一步提升性能。
• 在 HACS 与 Epic-Kitchens-100 上，TAdaConvNeXtV2 与 TAdaFormer 能够生成强特征用于动作定位，优于 BMN 基线，并与 ViViT 和 SlowFast 达到相当的性能水平。
• TAdaConvNeXtV2 与 TAdaFormer 展现出强大的可扩展性，模型规模增大与更大规模预训练（包括在 Kinetics-710 上的后预训练）均带来性能增益。