[论文解读] Removing the Background by Adding the Background: Towards Background Robust Self-supervised Video Representation Learning

Jinpeng Wang, Yuting Gao+8 more|arXiv (Cornell University)|Sep 12, 2020

Human Pose and Action Recognition参考文献 62被引用 12

一句话总结

本文提出背景擦除（BE），一种简单而有效的自监督视频表征学习方法，通过在每一帧视频中添加静态帧，强制模型学习与运动无关的特征，从而提升模型对背景偏差的鲁棒性。当与MoCo结合时，BE在UCF101上提升16.4%，在HMDB51上提升19.1%，展现出强大的泛化能力并减少对场景线索的依赖。

ABSTRACT

Self-supervised learning has shown great potentials in improving the video representation ability of deep neural networks by getting supervision from the data itself. However, some of the current methods tend to cheat from the background, i.e., the prediction is highly dependent on the video background instead of the motion, making the model vulnerable to background changes. To mitigate the model reliance towards the background, we propose to remove the background impact by adding the background. That is, given a video, we randomly select a static frame and add it to every other frames to construct a distracting video sample. Then we force the model to pull the feature of the distracting video and the feature of the original video closer, so that the model is explicitly restricted to resist the background influence, focusing more on the motion changes. We term our method as \emph{Background Erasing} (BE). It is worth noting that the implementation of our method is so simple and neat and can be added to most of the SOTA methods without much efforts. Specifically, BE brings 16.4% and 19.1% improvements with MoCo on the severely biased datasets UCF101 and HMDB51, and 14.5% improvement on the less biased dataset Diving48.

研究动机与目标

• 为解决视频模型因数据集偏差而过度依赖背景线索，导致泛化能力差的问题。
• 通过在训练过程中显式破坏背景一致性，减少模型对静态场景信息的依赖。
• 开发一种简单、即插即用的方法，无需架构修改即可增强现有自监督视频学习框架。
• 通过聚焦于运动模式，提升对新动作和与背景无关的动作识别的泛化能力。

提出的方法

• 对于每段视频，随机选择一个静态帧，并将其添加到视频的每一帧中，生成具有干扰性的视频样本。
• 通过一致性正则化，使模型最小化原始视频与背景干扰后视频之间的特征距离。
• 该方法作为数据增强技术实现，可轻松集成到现有的自监督学习流程中。
• 该方法兼容对比学习（如MoCo）和基于掩码任务的模型。
• 背景擦除后的样本迫使模型更关注运动模式而非静态场景结构。
• 该方法轻量化，无需额外参数或复杂训练过程。

实验结果

研究问题

• RQ1 简单的数据增强策略是否能减少自监督视频学习中模型对背景线索的依赖？
• RQ2 添加背景噪声在多大程度上影响模型对动作识别中运动模式的关注？
• RQ3 背景擦除在有偏差和无偏差的视频数据集上能带来多大性能提升？
• RQ4 该方法是否能增强对预训练期间未见的新动作的泛化能力？
• RQ5 当在场景偏差极低的数据集上测试时，模型是否仍能保持鲁棒性？

主要发现

• 当与MoCo结合时，BE在UCF101上提升16.4%，在HMDB51上提升19.1%，表明在高度有偏差的数据集上取得显著性能增益。
• 在偏差较低的Diving48数据集上，BE相较MoCo实现14.5%的性能提升，表明该方法在低偏差设置下依然有效。
• 在以演员为主导的Actor-HMDB51数据集上，监督模型与自监督模型之间的性能差距从19.1%显著缩小至2.9%，表明BE显著降低了对场景偏差的依赖。
• 可视化结果证实，使用BE预训练的模型更关注运动主体，对静态背景的关注度更低，即使在对抗性扰动下也保持稳定。
• 该方法在不同主干网络和自监督框架中均保持一致的性能增益，证明其泛化能力和鲁棒性。
• 使用BE训练的模型在迁移到新类别时表现出更优的迁移能力，注意力图清晰突出运动区域而非背景。