[论文解读] Representation Learning with Video Deep InfoMax

Hjelm, R Devon+2 more|arXiv (Cornell University)|Jul 27, 2020

Human Pose and Action Recognition参考文献 71被引用 15

一句话总结

本文提出视频深度互信息最大化（Video Deep InfoMax, VDIM），一种自监督视频表征学习方法，通过利用时空网络结构从自然速率和时间下采样的视频序列中构建视图，将DeepInfoMax扩展至视频领域。VDIM在Kinetics预训练的动作识别任务上达到最先进性能，并在仅使用自监督预训练和微调的情况下，在UCF-101上创下新的最先进结果。

ABSTRACT

Self-supervised learning has made unsupervised pretraining relevant again for difficult computer vision tasks. The most effective self-supervised methods involve prediction tasks based on features extracted from diverse views of the data. DeepInfoMax (DIM) is a self-supervised method which leverages the internal structure of deep networks to construct such views, forming prediction tasks between local features which depend on small patches in an image and global features which depend on the whole image. In this paper, we extend DIM to the video domain by leveraging similar structure in spatio-temporal networks, producing a method we call Video Deep InfoMax(VDIM). We find that drawing views from both natural-rate sequences and temporally-downsampled sequences yields results on Kinetics-pretrained action recognition tasks which match or outperform prior state-of-the-art methods that use more costly large-time-scale transformer models. We also examine the effects of data augmentation and fine-tuning methods, accomplishingSoTA by a large margin when training only on the UCF-101 dataset.

研究动机与目标

• 通过利用时空特征结构，将DeepInfoMax（DIM）框架从图像扩展至视频。
• 探究使用视频视图进行自监督预训练是否能在动作识别任务上达到或超越昂贵的Transformer模型。
• 评估数据增强和微调策略在自监督视频表征学习中的影响。
• 仅通过自监督预训练和标准微调，在UCF-101上实现最先进性能。

提出的方法

• VDIM从原始速率和时间下采样的视频片段中构建视图，以生成多样化的时空视图。
• 利用时空卷积网络提取的局部和全局特征表示，计算补丁与完整视频片段之间的对比损失。
• 通过最大化局部特征与全局视频级别表征之间的互信息，应用对比学习。
• 通过时间裁剪和帧采样等数据增强方法对视频片段应用，生成视图。
• 使用对比目标进行预训练，以鼓励同一视频不同视图之间的特征达成一致。
• 在下游动作识别基准上，使用标准的线性或端到端分类头进行微调。

实验结果

研究问题

• RQ1 能否成功将DeepInfoMax框架扩展至利用时空特征的视频表征学习？
• RQ2 与单视图方法相比，同时使用自然速率和下采样视频视图是否能提升自监督视频表征学习性能？
• RQ3 在动作识别任务上，VDIM与大规模Transformer模型相比，在性能和计算成本方面如何？
• RQ4 数据增强和微调策略对VDIM最终准确率的影响如何？
• RQ5 VDIM能否仅通过自监督预训练和标准微调在UCF-101上实现最先进性能？

主要发现

• 在Kinetics预训练的动作识别任务上，VDIM达到最先进性能，表现与使用更大、更昂贵的Transformer架构的先前方法相当或更优。
• 在UCF-101数据集上，VDIM在仅使用自监督预训练和标准微调的情况下，实现了最先进结果。
• 同时使用自然速率和时间下采样的视频序列作为视图，显著提升了表征质量，优于单视图基线方法。
• 数据增强和微调策略在最大化性能方面起着关键作用，尤其是在UCF-101等较小数据集上。
• VDIM表明，无需大规模模型即可实现高效的自监督视频学习，在降低计算成本的同时保持高准确率。