[论文解读] Towards Training Stronger Video Vision Transformers for EPIC-KITCHENS-100 Action Recognition

Ziyuan Huang, Zhiwu Qing+8 more|arXiv (Cornell University)|Jun 9, 2021

Human Pose and Action Recognition参考文献 24被引用 8

一句话总结

本文针对 EPIC-KITCHENS-100 数据集提出了一个全面的 Video Vision Transformers (ViViT) 训练方案，通过优化的数据增强、分辨率调度和初始化策略，将动作识别准确率提升至 47.4%，较原始 ViViT 提高了 3.4%。作者进一步通过将 ViViT 与卷积神经网络（如 ir-CSN-152）进行模型融合，最终在动作识别任务上达到 48.5% 的测试准确率， verb 预测准确率为 69.2%，noun 预测准确率为 60.3%。

ABSTRACT

With the recent surge in the research of vision transformers, they have demonstrated remarkable potential for various challenging computer vision applications, such as image recognition, point cloud classification as well as video understanding. In this paper, we present empirical results for training a stronger video vision transformer on the EPIC-KITCHENS-100 Action Recognition dataset. Specifically, we explore training techniques for video vision transformers, such as augmentations, resolutions as well as initialization, etc. With our training recipe, a single ViViT model achieves the performance of 47.4\% on the validation set of EPIC-KITCHENS-100 dataset, outperforming what is reported in the original paper by 3.4%. We found that video transformers are especially good at predicting the noun in the verb-noun action prediction task. This makes the overall action prediction accuracy of video transformers notably higher than convolutional ones. Surprisingly, even the best video transformers underperform the convolutional networks on the verb prediction. Therefore, we combine the video vision transformers and some of the convolutional video networks and present our solution to the EPIC-KITCHENS-100 Action Recognition competition.

研究动机与目标

• 在 EPIC-KITCHENS-100 动作识别基准上，将 Video Vision Transformers (ViViT) 的性能提升至超过原始报告结果的水平。
• 探究数据增强、输入分辨率、预训练初始化和模型架构对 ViViT 在视频理解任务中性能的影响。
• 通过将 ViViT 与卷积视频网络（如 ir-CSN-152、SlowFast）结合，解决 ViViT 在 verb 预测上的局限性，实现互补预测。
• 开发一种稳健的模型融合策略，充分发挥 ViViT（在 noun 预测上表现优异）与卷积模型（在 verb 预测上表现优异）的优势，以最大化整体动作识别准确率。

提出的方法

• 使用 ImageNet-21k 的监督权重对 ViViT-B/16x2 进行预训练，并在 Kinetics 400、Kinetics 700 和 Something-Something-V2 上使用 AdamW 优化器和余弦退火学习率调度进行微调。
• 在微调过程中应用多种数据增强策略，包括颜色抖动、mixup、cutmix、随机擦除和标签平滑，以提升泛化能力。
• 探索了 224×224、320×320 和 384×384 三种输入分辨率，发现 384×384 分辨率在验证集上表现更优。
• 采用分块视频 Transformer 编码器，并使用 2.5 个周期的学习率预热和 0.1 的权重衰减进行训练。
• 使用长时特征库（LFB）结合 ir-CSN-152 模型，利用预训练 ViViT 的特征进行初始化，以增强 noun 预测能力。
• 通过在多个视图上平均预测结果，对多个模型（包括 ViViT、ir-CSN-152 和 SlowFast）进行模型融合，以提升最终准确率。

实验结果

研究问题

• RQ1 不同的数据增强策略如何影响 Video Vision Transformers 在 EPIC-KITCHENS-100 数据集上的性能？
• RQ2 在视频动作识别任务中，最大化 ViViT 性能的最优输入分辨率和预训练初始化策略是什么？
• RQ3 尽管 ViViT 在 noun 预测和整体动作识别上表现优异，为何其在 verb 预测上仍表现逊色？
• RQ4 将 ViViT 与卷积视频网络进行模型融合，是否能显著提升 EPIC-KITCHENS-100 上的最终动作识别准确率？

主要发现

• 通过所提出的训练方案微调的单一 ViViT 模型在 EPIC-KITCHENS-100 验证集上实现了 47.4% 的动作识别准确率，较原始 ViViT 提升了 3.4%。
• ViViT 在 noun 预测上表现更优（59.6%），而在 verb 预测上表现较弱（68.4%），凸显其在识别动作对象方面的优势。
• 卷积神经网络（如 ir-CSN-152 和 SlowFast-16×8-101）在 verb 预测上优于 ViViT，其中后者达到 68.4% 的 verb 准确率。
• 在 ir-CSN-152 中使用 ViViT 特征的长时特征库（LFB）将 noun 预测准确率从 55.9% 提升至 60.3%，显著增强了整体动作识别性能。
• 将表现最佳的 ViViT 与卷积模型进行融合，最终在测试集上实现 48.5% 的动作识别准确率，verb 预测准确率为 69.2%，noun 预测准确率为 60.3%。
• 将输入分辨率提升至 384×384 虽提升了验证集准确率，但未改善卷积模型的测试集性能，因此推理阶段仍保留 224×224 分辨率。