[论文解读] Video Summarization using Deep Semantic Features

Mayu Otani, Yuta Nakashima+3 more|arXiv (Cornell University)|Sep 28, 2016

Video Analysis and Summarization参考文献 28被引用 28

一句话总结

本文提出了一种视频摘要方法，利用从视频-描述配对中学习到的深度语义特征，以提升内容表征和摘要质量。通过联合训练一个深度神经网络，将视频及其描述嵌入到共享语义空间中，该方法采用基于聚类的采样技术提取具有代表性的视频片段，在 SumMe 数据集上实现了 0.183 的平均 F-measure，达到人工标注摘要性能的 58.8%，优于基于 VGG 的基线方法，并与监督方法具有可比性。

ABSTRACT

This paper presents a video summarization technique for an Internet video to provide a quick way to overview its content. This is a challenging problem because finding important or informative parts of the original video requires to understand its content. Furthermore the content of Internet videos is very diverse, ranging from home videos to documentaries, which makes video summarization much more tough as prior knowledge is almost not available. To tackle this problem, we propose to use deep video features that can encode various levels of content semantics, including objects, actions, and scenes, improving the efficiency of standard video summarization techniques. For this, we design a deep neural network that maps videos as well as descriptions to a common semantic space and jointly trained it with associated pairs of videos and descriptions. To generate a video summary, we extract the deep features from each segment of the original video and apply a clustering-based summarization technique to them. We evaluate our video summaries using the SumMe dataset as well as baseline approaches. The results demonstrated the advantages of incorporating our deep semantic features in a video summarization technique.

研究动机与目标

• 为解决在极少先验知识条件下对多样化互联网视频进行摘要的问题，其中低层次视觉特征无法捕捉高层语义。
• 通过学习编码多样化语义概念（如物体、动作和场景）的深度特征，提升视频摘要质量。
• 开发一种无监督的视频摘要框架，利用深度语义嵌入选择语义上有代表性的、非冗余的视频片段。
• 在 SumMe 数据集上，评估深度语义特征相较于标准视觉特征和现有摘要基线方法的有效性。

提出的方法

• 训练一个具有两个子网络的深度神经网络——一个用于视频，一个用于描述——使用对比损失将两种模态映射到共享的高维语义空间中。
• 该网络在大规模视频-描述数据集上进行联合训练，使模型能够从成对的视频和文本描述中学习到丰富、多层次的语义表征。
• 将每个视频分割为固定长度的片段（5 秒），并使用训练好的网络从每个片段中提取深度语义特征。
• 对深度特征应用基于聚类的摘要技术，选择对应于聚类中心的片段，以确保语义代表性并减少冗余。
• 将所选片段按时间顺序拼接，形成最终的视频摘要。
• 通过最小化所选片段与其聚类中心之间的距离，同时最大化聚类间的分离度，使目标函数在代表性与冗余性之间取得平衡。

实验结果

研究问题

• RQ1 与传统的低层次视觉特征相比，从视频-描述配对中学习到的深度语义特征是否能提升视频摘要性能？
• RQ2 使用深度语义嵌入的无监督基于聚类的方法，在选择具有代表性的视频片段用于摘要方面有多高效？
• RQ3 所提出的深度特征在包括家庭视频和纪录片在内的多样化互联网视频内容上，其泛化能力如何？
• RQ4 在 SumMe 数据集上，所提出方法的性能与人工标注摘要及现有最先进基线方法相比如何？

主要发现

• 所提方法在 SumMe 数据集上实现了 0.183 的平均 F-measure，相当于人工创建视频摘要平均性能的 58.8%。
• 该方法优于基于 VGG 的基线方法（平均 F-measure 为 0.127），证明了深度语义特征相较于标准视觉特征的优势。
• 尽管是无监督方法且采用简单的采样策略，该方法仍超越了基于注意力机制的方法，并在特定视频上达到或超过部分人工标注摘要的性能。
• 在短视频（如“Jumps”、“Fire Domino”）上存在局限性，原因在于固定 5 秒采样导致片段数量有限，导致 F-measure 分数较低。
• 在高度冗余的视频（如“Car over Camera”）和复杂内容的视频（如“Notre Dame”）上观察到性能下降，原因是在语义空间中不重要的静态场景形成了密集聚类。
• 由于无监督性质，该方法在长段无意义内容（如“St Maarten Landing”）上表现不佳，未能有效过滤出语义上不重要的内容。