[论文解读] Self-supervised Video Retrieval Transformer Network

Xiangteng He, Yulin Pan+2 more|arXiv (Cornell University)|Apr 16, 2021

Advanced Image and Video Retrieval Techniques参考文献 32被引用 4

一句话总结

本文提出SVRTN，一种自监督视频检索框架，通过基于Transformer的集合编码器学习片段级别的视频表征，避免了昂贵的手动标注，并降低了存储与搜索成本。该方法在FIVR-200K和SVD数据集上达到最先进性能，相较于视频级别方法mAP提升高达30.6%，特征存储成本降低78.7%，同时相比帧级别方法检索速度提升25倍。

ABSTRACT

Content-based video retrieval aims to find videos from a large video database that are similar to or even near-duplicate of a given query video. Video representation and similarity search algorithms are crucial to any video retrieval system. To derive effective video representation, most video retrieval systems require a large amount of manually annotated data for training, making it costly inefficient. In addition, most retrieval systems are based on frame-level features for video similarity searching, making it expensive both storage wise and search wise. We propose a novel video retrieval system, termed SVRTN, that effectively addresses the above shortcomings. It first applies self-supervised training to effectively learn video representation from unlabeled data to avoid the expensive cost of manual annotation. Then, it exploits transformer structure to aggregate frame-level features into clip-level to reduce both storage space and search complexity. It can learn the complementary and discriminative information from the interactions among clip frames, as well as acquire the frame permutation and missing invariant ability to support more flexible retrieval manners. Comprehensive experiments on two challenging video retrieval datasets, namely FIVR-200K and SVD, verify the effectiveness of our proposed SVRTN method, which achieves the best performance of video retrieval on accuracy and efficiency.

研究动机与目标

• 通过在未标注视频上利用自监督学习，减少视频检索中对昂贵人工标注的依赖。
• 通过将帧级别特征聚合为紧凑的片段级别表征，最小化视频检索中的存储与计算成本。
• 通过在集合Transformer中引入掩码帧建模，实现对帧顺序和缺失帧的不变性，提升检索的鲁棒性与灵活性。
• 支持多种检索模式，包括片段到片段和帧到片段检索，以增强应用适应性。

提出的方法

• 通过时间、空间和光照变换生成视频及其增强版本之间的正样本对，实现自监督视频表征学习。
• 使用多头自注意力机制建模帧间依赖关系，通过片段级别的集合Transformer网络将帧级别特征聚合为单一的片段级别表征。
• 在片段级别编码中集成掩码帧建模，使模型对帧顺序变化和缺失帧具有不变性，从而提升鲁棒性。
• 通过哈希对视频表征进行二值化，以支持大规模检索中的高效相似性搜索。
• 采用对比学习在自生成的正样本对上端到端训练模型，以最大化特征判别能力。
• 通过同时编码片段和单个帧，支持灵活的检索机制，实现多样化的查询类型。

实验结果

研究问题

• RQ1 自监督学习能否在视频表征学习中有效替代人工标注用于检索？
• RQ2 片段级别表征学习是否能在不牺牲检索准确率的前提下显著降低存储与搜索复杂度？
• RQ3 在集合Transformer中引入掩码帧建模是否能提升视频检索对帧顺序与缺失帧的鲁棒性？
• RQ4 所提方法是否能支持灵活的检索模式，如帧到片段和片段到片段检索？

主要发现

• 在FIVR-200K数据集的DSVR任务中，SVRTN相较于视频级别方法mAP提升30.6%。
• 在FIVR-200K数据集的CSVR和ISVR任务中，SVRTN相较于视频级别基线方法mAP分别提升28.2%和21.3%。
• 在SVD数据集中，SVRTN相较于现有方法mAP提升4.7%。
• 与帧级别检索方法相比，该方法将特征存储成本降低了约78.7%。
• 由于采用片段级别表征，检索速度相比帧级别方法提升了约25倍。
• 模型在不同片段长度（4秒、6秒、8秒）下均表现出对帧缺失和顺序变化的强鲁棒性，性能稳定。