[论文解读] Video-Text Pre-training with Learned Regions

Rui Yan, Mike Zheng Shou+5 more|arXiv (Cornell University)|Dec 2, 2021

Multimodal Machine Learning Applications参考文献 70被引用 7

一句话总结

本文提出RegionLearner，一种自监督模块，能够从原始视频特征中隐式学习具有判别性的视觉区域，而无需依赖目标检测器。通过将块特征量化为语义聚类、应用可学习掩码进行区域聚合，并建模区域间交互，该方法在MSVD数据集上的视频-文本检索性能最高提升10.3% R@1，优于依赖现成检测器或帧级特征的先前方法。

ABSTRACT

Video-Text pre-training aims at learning transferable representations from large-scale video-text pairs via aligning the semantics between visual and textual information. State-of-the-art approaches extract visual features from raw pixels in an end-to-end fashion. However, these methods operate at frame-level directly and thus overlook the spatio-temporal structure of objects in video, which yet has a strong synergy with nouns in textual descriptions. In this work, we propose a simple yet effective module for video-text representation learning, namely RegionLearner, which can take into account the structure of objects during pre-training on large-scale video-text pairs. Given a video, our module (1) first quantizes visual features into semantic clusters, then (2) generates learnable masks and uses them to aggregate the features belonging to the same semantic region, and finally (3) models the interactions between different aggregated regions. In contrast to using off-the-shelf object detectors, our proposed module does not require explicit supervision and is much more computationally efficient. We pre-train the proposed approach on the public WebVid2M and CC3M datasets. Extensive evaluations on four downstream video-text retrieval benchmarks clearly demonstrate the effectiveness of our RegionLearner. The code will be available at https://github.com/ruiyan1995/Region_Learner.

研究动机与目标

• 为解决视频-文本预训练中帧级视觉特征提取的局限性，该局限性忽略了时空物体结构。
• 消除对昂贵且依赖质量的现成目标检测器在区域特征提取中的依赖。
• 开发一种轻量级、端到端可训练的模块，从原始视频块中隐式学习有意义的视觉区域。
• 通过建模所学视觉区域之间的交互，提升视频-文本表征学习。
• 在下游视频-文本检索基准上实现最先进性能，且无需显式监督。

提出的方法

• 量化：使用可学习的码书将视频帧的视觉特征聚类为离散的语义表征。
• 聚合：应用可学习的区域掩码，将属于同一语义区域的特征分组，实现聚焦的特征学习。
• 交互：通过单层交互模块建模聚合后区域特征之间的时空交互，以增强表征理解。
• 整个RegionLearner模块是可微分的，且即插即用，可与各种视频和文本编码器兼容。
• 该方法在原始视频像素上端到端运行，无需边界框标注或预训练目标检测器。
• 该模块与大规模数据集（如WebVid2M和CC3M）上的视频-文本对比目标联合训练。

实验结果

研究问题

• RQ1 从原始视频块中进行隐式、自监督的区域学习，能否提升视频-文本表征对齐？
• RQ2 RegionLearner在视频-文本预训练中的性能与使用现成目标检测器的方法相比如何？
• RQ3 为最大化检索性能，所学区域的最优数量和交互深度是多少？
• RQ4 缺乏显式监督是否会阻碍模型学习语义上有意义的区域？
• RQ5 与帧级特征提取相比，基于区域的特征聚合在下游视频-文本检索中能提升多少？

主要发现

• 与基线方法相比，RegionLearner在MSR-VTT 1K-A基准上的R@1指标实现了5.3%的绝对提升。
• 在MSVD基准上，该方法在R@1上实现了10.3%的绝对提升，显著优于先前的最先进方法。
• 消融研究显示，区域聚合对性能提升贡献最大，相比基线模型最高提升达2.0%。
• 最优区域数量被确定为K=8，因为区域过少或过多都会导致性能下降。
• 单层区域间交互效果最佳，因为更深的交互会导致在预训练数据上的过拟合。
• 可视化结果表明，RegionLearner成功捕捉了前景物体和具有判别性的背景细节，失败案例则显示出在噪声较大或视频-文本对不匹配时的局限性。