[论文解读] VRFP: On-the-fly Video Retrieval using Web Images and Fast Fisher Vector Products

Xintong Han, Bharat Singh+2 more|arXiv (Cornell University)|Dec 10, 2015

Advanced Image and Video Retrieval Techniques参考文献 64被引用 5

一句话总结

VRFP 是一种实时视频检索框架，通过使用短文本查询从网络获取的图像来构建视频内容的Fisher向量表示，从而实现实时相似性匹配。该方法通过结合鲁棒的Fisher向量特征与无损、稀疏感知的内积加速算法，在TRECVID MED13（16.4%）、MED14（9.67%）和CCV（40.8%）数据集上实现了最先进性能。

ABSTRACT

VRFP is a real-time video retrieval framework based on short text input queries, which obtains weakly labeled training images from the web after the query is known. The retrieved web images representing the query and each database video are treated as unordered collections of images, and each collection is represented using a single Fisher Vector built on CNN features. Our experiments show that a Fisher Vector is robust to noise present in web images and compares favorably in terms of accuracy to other standard representations. While a Fisher Vector can be constructed efficiently for a new query, matching against the test set is slow due to its high dimensionality. To perform matching in real-time, we present a lossless algorithm that accelerates the inner product computation between high dimensional Fisher Vectors. We prove that the expected number of multiplications required decreases quadratically with the sparsity of Fisher Vectors. We are not only able to construct and apply query models in real-time, but with the help of a simple re-ranking scheme, we also outperform state-of-the-art automatic retrieval methods by a significant margin on TRECVID MED13 (3.5%), MED14 (1.3%) and CCV datasets (5.2%). We also provide a direct comparison on standard datasets between two different paradigms for automatic video retrieval - zero-shot learning and on-the-fly retrieval.

研究动机与目标

• 仅使用简短文本查询（无需预定义概念库）实现实时视频检索。
• 通过使用Fisher向量作为鲁棒表示，解决视频检索中来自网络的噪声图像问题。
• 加速高维Fisher向量匹配以实现实时性能。
• 在基于文本的视频检索背景下，比较端到端检索与零样本学习的性能。
• 证明Fisher向量在准确性和噪声鲁棒性方面优于其他表示方法。

提出的方法

• 使用搜索引擎为给定文本查询检索网络图像，以构建弱监督训练集。
• 利用CNN特征将查询网络图像和视频帧均表示为Fisher向量，将每幅图像视为无序图像集合。
• 采用无损算法计算高维Fisher向量之间的内积，利用稀疏性将乘法运算次数按平方关系减少。
• 应用简单的重排序策略以提升检索准确率，无需判别性训练。
• 利用Fisher向量中的稀疏性加速计算，实现实时推理。
• 通过引入YouTube缩略图扩展方法，进一步提升TRECVID数据集上的mAP性能。

实验结果

研究问题

• RQ1 Fisher向量能否有效表示用于视频检索的噪声网络图像和视频帧？
• RQ2 与零样本学习相比，基于网络图像的端到端检索在准确率和效率方面表现如何？
• RQ3 能否在不损失精度的前提下加速高维Fisher向量之间内积的计算？
• RQ4 所提出方法是否在标准基准测试中超越了最先进自动视频检索系统？
• RQ5 表示的鲁棒性与稀疏性如何影响检索性能？

主要发现

• VRFP在TRECVID MED13上达到16.4%的mAP，比之前自动方法高出3.5个百分点。
• 在TRECVID MED14上，VRFP达到9.67%的mAP，比次佳方法高出1.3个百分点。
• 在CCV数据集上，VRFP达到40.8%的mAP，比之前最先进方法高出5.2个百分点。
• 无损加速算法使Fisher向量稀疏性增加时，预期乘法运算次数按平方关系减少，从而实现实时匹配。
• 重排序策略在所有数据集上均提升了检索性能，证实了初始排序与后处理的有效性。
• 使用YouTube缩略图使MED13和MED14的mAP分别提升0.39和0.32个百分点，证明了多样化视觉数据的价值。