[论文解读] Video retrieval based on deep convolutional neural network

Yj Dong, JG Li|arXiv (Cornell University)|Dec 1, 2017

Human Pose and Action Recognition参考文献 1被引用 3

一句话总结

本文提出了一种用于视频检索的端到端深度学习框架，结合了深度卷积神经网络（CNN）与二值哈希函数，以实现高效的相似性搜索。通过整合三元组损失和分类损失，该方法学习高层语义特征与紧凑的二进制编码，在两个公开数据集上优于当前最先进方法。

ABSTRACT

Recently, with the enormous growth of online videos, fast video retrieval research has received increasing attention. As an extension of image hashing techniques, traditional video hashing methods mainly depend on hand-crafted features and transform the real-valued features into binary hash codes. As videos provide far more diverse and complex visual information than images, extracting features from videos is much more challenging than that from images. Therefore, high-level semantic features to represent videos are needed rather than low-level hand-crafted methods. In this paper, a deep convolutional neural network is proposed to extract high-level semantic features and a binary hash function is then integrated into this framework to achieve an end-to-end optimization. Particularly, our approach also combines triplet loss function which preserves the relative similarity and difference of videos and classification loss function as the optimization objective. Experiments have been performed on two public datasets and the results demonstrate the superiority of our proposed method compared with other state-of-the-art video retrieval methods.

研究动机与目标

• 为应对日益增长的视频数据带来的高效且准确的视频检索挑战。
• 克服传统视频哈希方法依赖手工设计特征且缺乏语义理解能力的局限性。
• 利用深度神经网络从视频中学习高层语义表征。
• 通过端到端优化特征学习与二值哈希，提升检索性能。
• 通过三元组损失与分类损失增强视频检索中的相似性保持能力。

提出的方法

• 使用深度卷积神经网络从视频帧中提取高层语义特征。
• 在网络中集成二值哈希函数，以实现视频特征的紧凑且高效的表示。
• 使用结合了三元组损失与分类损失的联合损失函数，对框架进行端到端训练。
• 三元组损失通过比较锚点样本、正样本与负样本，保留视频之间的相对相似性与差异性。
• 分类损失通过在训练过程中分配正确的视频标签，确保特征学习具有判别性。
• 模型联合优化特征提取与哈希码生成，以提升检索准确性。

实验结果

研究问题

• RQ1 使用端到端学习的深度CNN是否能相比传统手工特征方法提升视频检索性能？
• RQ2 三元组损失与分类损失的结合在保留视频数据语义关系方面有多有效？
• RQ3 基于学习特征的二值哈希在多大程度上提升了检索效率与准确性？
• RQ4 所提出的方法是否在基准数据集上优于现有的最先进视频检索技术？
• RQ5 该方法在视频内容与复杂性变化下的鲁棒性如何？

主要发现

• 所提方法在两个公开数据集上相比当前最先进视频检索方法展现出更优的检索性能。
• 三元组损失与分类损失的结合显著提升了模型保持视频间语义相似性的能力。
• 深度CNN与二值哈希函数的端到端训练，生成了更具判别性与紧凑性的视频表征。
• 由于学习到的二进制编码，模型展现出强大的泛化能力与效率，支持快速相似性搜索。
• 基准数据集上的定量结果证实了所提框架在平均平均精度与检索准确性方面的有效性。
• 该方法通过利用深度语义特征与联合优化，优于现有的基于哈希的检索方法。