[论文解读] Temporal Context Aggregation for Video Retrieval with Contrastive Learning

Jie Shao, Xin Wen+2 more|arXiv (Cornell University)|Aug 4, 2020

Multimodal Machine Learning Applications参考文献 60被引用 8

一句话总结

本文提出TCA，一种视频检索框架，利用自注意力机制从帧级特征聚合长程时间上下文，增强语义依赖关系的建模。该方法引入一种带有记忆库的监督对比学习方法，实现高效的难负样本挖掘，在FIVR-200K数据集上实现17%的mAP提升，且推理速度比帧级基线方法快22倍。

ABSTRACT

The current research focus on Content-Based Video Retrieval requires higher-level video representation describing the long-range semantic dependencies of relevant incidents, events, etc. However, existing methods commonly process the frames of a video as individual images or short clips, making the modeling of long-range semantic dependencies difficult. In this paper, we propose TCA (Temporal Context Aggregation for Video Retrieval), a video representation learning framework that incorporates long-range temporal information between frame-level features using the self-attention mechanism. To train it on video retrieval datasets, we propose a supervised contrastive learning method that performs automatic hard negative mining and utilizes the memory bank mechanism to increase the capacity of negative samples. Extensive experiments are conducted on multiple video retrieval tasks, such as CC_WEB_VIDEO, FIVR-200K, and EVVE. The proposed method shows a significant performance advantage (~17% mAP on FIVR-200K) over state-of-the-art methods with video-level features, and deliver competitive results with 22x faster inference time comparing with frame-level features.

研究动机与目标

• 为解决当前方法将帧视为孤立剪辑或图像，难以建模视频检索中长程语义依赖关系的挑战。
• 通过自注意力机制聚合帧间时间上下文，提升视频表征能力。
• 开发一种训练策略，实现无需人工采样的自动难负样本挖掘。
• 与现有视频级和帧级方法相比，实现更高的检索准确率与推理效率之间的更好权衡。

提出的方法

• TCA采用自注意力机制将帧级特征聚合为统一的视频级表征，捕捉长程时间依赖关系。
• 模型采用带有共享记忆库的监督对比学习目标进行训练，用于存储并高效访问大规模负样本。
• 记忆库机制降低了计算成本，并有效利用了视频检索数据集中丰富的负样本。
• 梯度分析表明，该方法在无需显式采样的情况下，天然地实现了难负样本挖掘，提升了模型的判别能力。
• 该框架支持视频级与帧级特征提取，实现灵活且高效的推理。

实验结果

研究问题

• RQ1 自注意力机制能否有效建模视频检索任务中的长程语义依赖关系？
• RQ2 基于记忆增强的对比学习方法是否能在减少人工超参数调优的情况下超越传统三元组损失？
• RQ3 通过梯度动态实现的自动难负样本挖掘是否能在不显式采样下提升检索性能？
• RQ4 视频级特征方法能否在准确率上达到或超过帧级方法，同时实现显著更快的推理速度？

主要发现

• 与最先进视频级方法相比，TCA在FIVR-200K ISVR基准上实现了17%的相对mAP提升。
• 在使用帧级特征时，TCA表现具有竞争力，mAP超过ViSiL_f，且推理速度快22倍。
• TCA的视频级版本（TCA_c）在FIVR-200K ISVR上达到0.570 mAP，优于相同任务下的ViSiL_v（0.702 mAP）。
• t-SNE可视化结果表明，TCA生成的正样本聚类更紧凑、类间分离更明显，且对干扰样本的分离效果更优。
• 注意力可视化显示，模型聚焦于关键事件帧，同时抑制冗余或背景帧，验证了其建模语义上下文的能力。