[论文解读] VRAG: Region Attention Graphs for Content-Based Video Retrieval

Kennard Ng, Ser-Nam Lim+1 more|arXiv (Cornell University)|May 18, 2022

Video Analysis and Summarization被引用 6

一句话总结

本文提出VRAG，一种通过区域级特征与基于图的注意力机制建模视频的视频级检索框架，以捕捉时空关系。通过结合区域级表征与自注意力机制及图卷积，VRAG在视频检索基准上实现了最先进性能，同时缩小了视频级与帧级方法之间的差距，其片段级变体在保持更快速度的同时，精度高于帧级基线方法。

ABSTRACT

Content-based Video Retrieval (CBVR) is used on media-sharing platforms for applications such as video recommendation and filtering. To manage databases that scale to billions of videos, video-level approaches that use fixed-size embeddings are preferred due to their efficiency. In this paper, we introduce Video Region Attention Graph Networks (VRAG) that improves the state-of-the-art of video-level methods. We represent videos at a finer granularity via region-level features and encode video spatio-temporal dynamics through region-level relations. Our VRAG captures the relationships between regions based on their semantic content via self-attention and the permutation invariant aggregation of Graph Convolution. In addition, we show that the performance gap between video-level and frame-level methods can be reduced by segmenting videos into shots and using shot embeddings for video retrieval. We evaluate our VRAG over several video retrieval tasks and achieve a new state-of-the-art for video-level retrieval. Furthermore, our shot-level VRAG shows higher retrieval precision than other existing video-level methods, and closer performance to frame-level methods at faster evaluation speeds. Finally, our code will be made publicly available.

研究动机与目标

• 缩小高效视频级与高精度帧级视频检索方法之间的性能差距。
• 通过区域级特征与基于图的注意力机制，建模视频中的细粒度时空交互关系。
• 通过自注意力与图卷积学习上下文感知的区域嵌入，提升视频级检索性能。
• 探索片段级视频表征作为视频级与帧级检索之间的中间方案。
• 在视频检索基准上实现最先进性能，且推理速度优于帧级方法。

提出的方法

• 将视频表示为图结构，其中每个节点为从帧中提取的R-MAC区域特征。
• 通过同一帧内区域间的完全子图建模空间关系，通过相邻帧间全连接边建模时间关系。
• 应用图注意力网络（GATs）基于语义亲和力动态加权区域间关系。
• 对区域嵌入进行可学习的注意力池化，生成固定大小的视频级表征。
• 通过将视频分割为片段并聚合片段嵌入间的相似性，提出片段级VRAG。
• 应用平均查询扩展（QE）以进一步提升检索基准上的性能。

实验结果

研究问题

• RQ1 通过图注意力机制建模区域级交互，能否提升视频级检索性能？
• RQ2 通过引入时空关系建模，视频级方法在多大程度上可缩小与帧级方法的性能差距？
• RQ3 使用VRAG的片段级表征是否能在保持更快推理速度的同时，使检索性能更接近帧级方法？
• RQ4 VRAG在标准视频检索基准上与最先进视频级及帧级方法相比表现如何？
• RQ5 对区域特征进行自注意力机制，能否增强上下文感知的视频嵌入学习，从而提升检索性能？

主要发现

• 在事件视频检索（EVVE）基准上，VRAG在DSVR上达到0.532的mAP，CSVR上达到0.548，ISVR上达到0.518，优于所有先前的视频级方法。
• 在FIVR5K上，VRAG在DSVR上达到0.532的mAP，CSVR上达到0.548，ISVR上达到0.518，超越所有先前的视频级方法。
• 在FIVR200K上，VRAG在DSVR上达到0.484的mAP，CSVR上达到0.470，ISVR上达到0.399，尽管推理时间更长，仍优于先前的视频级方法。
• 片段级VRAG在EVVE上达到DSVR的0.709、CSVR的0.704和ISVR的0.636的mAP，超过帧级方法ViSiL f在ISVR上的表现，且推理速度超过ViSiL的50倍以上。
• 在EVVE上，视频级VRAG的推理时间仅需12分钟，而ViSiL需18小时，主要由于前者的前向传播次数更少（2995 vs. 150万）。
• 片段级方法显著缩小了视频级与帧级方法之间的性能差距，其精度高于视频级基线方法，且在计算成本极低的情况下逼近帧级方法的准确性。