[论文解读] VidTr: Video Transformer Without Convolutions

Yanyi Zhang, Xinyu Li+7 more|arXiv (Cornell University)|Apr 23, 2021

Human Pose and Action Recognition参考文献 61被引用 4

一句话总结

VidTr 提出了一种无需卷积的视频视觉变换器，采用可分离注意力机制，实现了高效且有效的时空建模，用于视频动作识别。通过解耦空间与时间注意力机制，并引入基于标准差的 top-K 池化方法，VidTr 将内存使用量减少 3.3 倍，FLOPs 最多降低 20 倍，同时在五个数据集上实现了最先进性能，尤其在长时程时间推理任务中表现突出。

ABSTRACT

We introduce Video Transformer (VidTr) with separable-attention for video classification. Comparing with commonly used 3D networks, VidTr is able to aggregate spatio-temporal information via stacked attentions and provide better performance with higher efficiency. We first introduce the vanilla video transformer and show that transformer module is able to perform spatio-temporal modeling from raw pixels, but with heavy memory usage. We then present VidTr which reduces the memory cost by 3.3$ imes$ while keeping the same performance. To further optimize the model, we propose the standard deviation based topK pooling for attention ($pool_{topK\_std}$), which reduces the computation by dropping non-informative features along temporal dimension. VidTr achieves state-of-the-art performance on five commonly used datasets with lower computational requirement, showing both the efficiency and effectiveness of our design. Finally, error analysis and visualization show that VidTr is especially good at predicting actions that require long-term temporal reasoning.

研究动机与目标

• 为解决 3D 卷积神经网络在视频动作识别中的局限性，如感受野有限和特征聚合速度慢。
• 探索在原始视频像素上直接使用纯视觉变换器进行端到端时空建模的可行性，无需卷积主干网络。
• 通过架构创新（如可分离注意力和动态序列剪枝）降低原始视频视觉变换器的高内存与计算成本。
• 提升在长程时间推理任务中的性能，其中全局上下文信息至关重要，尤其适用于需要长时间理解的动作。

提出的方法

• 提出一种原始视频视觉变换器，直接基于视觉变换器（ViT）原理处理原始视频像素，证明了自注意力机制在端到端视频分类中的潜力。
• 通过解耦空间与时间注意力头，引入可分离注意力机制，使内存消耗减少 3.3 倍，且在准确率上与标准视频视觉变换器相比无损失。
• 设计一种基于标准差的 top-K 池化机制（pool_topK_std），通过过滤低方差、冗余的时间特征，选择代表性帧。
• 采用两阶段训练策略：先在 Kinetics-400 上预训练，再在下游数据集上微调，实现对多样化基准的强泛化能力。
• 使用注意力传播可视化方法分析注意力模式，结果表明空间注意力聚焦于动作相关区域，时间注意力则抑制冗余帧。
• 支持与 I3D 模型集成，结合全局（变换器）与局部（卷积）建模优势，在 Kinetics-400 上实现 +2% 准确率提升。

实验结果

研究问题

• RQ1 纯视觉变换器架构是否能在不使用任何卷积操作的情况下实现视频动作识别的最先进性能？
• RQ2 如何在不损失性能的前提下，降低原始视频视觉变换器的高内存与 FLOPs 消耗？
• RQ3 所提出的可分离注意力机制是否能有效解耦空间与时间建模，提升效率而不牺牲准确率？
• RQ4 基于标准差的 top-K 池化是否能通过移除冗余时间帧提升效率，且是否能保持或增强模型性能？
• RQ5 与 I3D 等卷积基线模型相比，VidTr 模型在需要长时程时间推理的动作任务中是否表现出更优性能？

主要发现

• VidTr-S 在 Kinetics-400 和 Kinetics-700 上均达到最先进性能，FLOPs 仅为 I3D101-NL 的 1/5，且比 Slowfast101-8×8 少 12%。
• 通过可分离注意力机制，模型将内存使用量减少 3.3 倍，同时保持与原始视频视觉变换器相同的准确率。
• 在 Charades 数据集上，VidTr-L 性能与 Slowfast101-NL 相当，优于 LFB 和 NUTA101，展现出在多标签数据集上的强泛化能力。
• 在 UCF-101 和 HMDB-51 上，VidTr 仅用 6 个训练周期即达到 96.6% 的 top-1 准确率（UCF-101）和 74.4%（HMDB-51），显示出在小样本数据集上的强泛化能力。
• 错误分析表明，VidTr 在长时程动作（如“制作蛋糕” vs. “吃蛋糕”）上显著优于 I3D，凸显时间上下文的重要性。
• 将 VidTr-L 与 I3D50 模型集成后，Kinetics-700 上性能提升 0.6%，证实了全局（变换器）与局部（卷积）建模之间的互补优势。