[论文解读] Time Is MattEr: Temporal Self-supervision for Video Transformers

Sukmin Yun, Jaehyung Kim+4 more|arXiv (Cornell University)|Jul 19, 2022

Human Pose and Action Recognition被引用 8

一句话总结

本文提出 TIME（Time Is MattEr），一种简单而有效的自监督方法，通过显式地消除视频 Transformer 对虚假空间相关性的偏见并增强时间建模，来提升视频表征学习。该方法引入了帧序预测和时间流方向预测作为辅助任务，在 Something-Something-v2 上显著提升性能，并增强了图像分类任务中对背景变化的鲁棒性。

ABSTRACT

Understanding temporal dynamics of video is an essential aspect of learning better video representations. Recently, transformer-based architectural designs have been extensively explored for video tasks due to their capability to capture long-term dependency of input sequences. However, we found that these Video Transformers are still biased to learn spatial dynamics rather than temporal ones, and debiasing the spurious correlation is critical for their performance. Based on the observations, we design simple yet effective self-supervised tasks for video models to learn temporal dynamics better. Specifically, for debiasing the spatial bias, our method learns the temporal order of video frames as extra self-supervision and enforces the randomly shuffled frames to have low-confidence outputs. Also, our method learns the temporal flow direction of video tokens among consecutive frames for enhancing the correlation toward temporal dynamics. Under various video action recognition tasks, we demonstrate the effectiveness of our method and its compatibility with state-of-the-art Video Transformers.

研究动机与目标

• 解决视频 Transformer 倾向于学习空间动态而非时间动态的局限性。
• 探究自监督时间建模是否能在架构创新之外进一步提升视频表征学习。
• 通过在随机排列的帧上强制低置信度预测，减少空间特征与视频动作识别之间的虚假相关性。
• 通过学习连续帧之间视频 token 的时间流方向，增强时间建模。
• 展示该方法在多种最先进视频 Transformer 上与动作识别基准的兼容性及一致性能提升。

提出的方法

• 引入一种帧级别的自监督任务，通过在预测顺序上使用交叉熵损失，来预测视频帧的正确时间顺序。
• 实施一种去偏置目标，通过使用 KL 散度来鼓励不确定性，惩罚在随机排列的视频帧上产生高置信度预测的情况。
• 提出一种基于注意力模块的 token 级自监督任务，用于预测连续帧之间的时间流方向（9 种类型：8 个方向 + 中心）。
• 利用 Gunnar Farnebäck 的光流算法生成 token 级任务的真值流标签。
• 以端到端可训练的方式，将损失函数与主视频分类目标联合应用。
• 将该方法扩展至图像分类任务，通过将帧序和去偏置目标适配到图像分类中，以减少背景偏见，在背景挑战基准上表现出更强的鲁棒性。

实验结果

研究问题

• RQ1 自监督时间建模是否能有效减少视频 Transformer 在视频理解中对空间动态的偏见？
• RQ2 学习帧的时间顺序是否能提升视频表征的泛化能力和鲁棒性？
• RQ3 预测视频 token 的流方向是否能增强模型捕捉长程时间依赖的能力？
• RQ4 所提出的自监督目标在多类视频 Transformer 架构上的性能提升程度如何？
• RQ5 相同的自监督原则是否可推广至图像分类任务，以缓解背景偏见？

主要发现

• 所提出的 TIME 方法在 Something-Something-v2 基准上一致地提升了最先进视频 Transformer 的性能，展现出强大的兼容性和性能增益。
• 在 Something-Something-v2 数据集上，该方法显著缩小了原始视频与排列后视频之间的准确率差距，表明空间偏见减少。
• 在 Only-FG 背景变化基准上，模型实现了 58.91% 的 top-1 准确率，相比基线的 50.27% 显著提升，显示出对背景变化的强鲁棒性。
• 帧序预测和去偏置目标对性能增益具有正交贡献，联合损失使准确率达到 58.91%，而仅使用顺序损失时为 54.15%。
• 该方法可泛化至图像分类任务，在 ImageNet-9 上将 top-1 准确率从 77.26% 提升至 83.26%，在 Only-FG 背景变化基准上从 50.27% 提升至 58.91%。
• 时间顺序预测与背景去偏置之间的协同作用在多个基准上带来了显著且一致的性能提升，证实了该方法的鲁棒性和泛化能力。