[论文解读] Semantic Video Trailers

Harrie Oosterhuis, Sujith Ravi+1 more|arXiv (Cornell University)|Sep 7, 2016

Video Analysis and Summarization参考文献 24被引用 7

一句话总结

本文提出了一种基于图的无监督方法，用于基于查询的视频摘要，通过结合语义嵌入与视觉显著性，生成语义连贯且视觉吸引人的预告片。通过利用来自非视频语料的预训练实体嵌入，并在帧相似性图上进行标签传播，该系统在相关性和视觉质量方面均优于基线模型，经人工评估验证。

ABSTRACT

Query-based video summarization is the task of creating a brief visual trailer, which captures the parts of the video (or a collection of videos) that are most relevant to the user-issued query. In this paper, we propose an unsupervised label propagation approach for this task. Our approach effectively captures the multimodal semantics of queries and videos using state-of-the-art deep neural networks and creates a summary that is both semantically coherent and visually attractive. We describe the theoretical framework of our graph-based approach and empirically evaluate its effectiveness in creating relevant and attractive trailers. Finally, we showcase example video trailers generated by our system.

研究动机与目标

• 解决为用户查询创建语义相关且视觉吸引人的视频预告片的挑战。
• 提升在 YouTube 等拥有海量视频内容的平台上的视频可发现性。
• 开发一种可扩展的无监督方法，结合语义与视觉信号，而无需查询特定的标注。
• 生成在语境上相关且视觉连贯的视频摘要，模拟人工编辑的预告片。

提出的方法

• 该方法使用来自非视频语料的预训练实体嵌入，计算查询与视频帧之间的语义相似度。
• 构建一个图结构，其中节点代表视频帧，边基于视觉和语义相似度建立。
• 在图上应用标签传播，以识别在语义上相关且在视觉上显著的帧。
• 系统选择标签传播得分较高的帧，形成连续且视觉平滑的摘要预告片。
• 该方法为无监督方法，无需在标注的视频摘要上进行训练。
• 在统一框架中整合了语义相关性（通过嵌入）和视觉显著性（通过聚类和图传播）。

实验结果

研究问题

• RQ1 基于图的方法能否有效结合语义与视觉信号，以生成与查询相关的视频摘要？
• RQ2 与均匀分布或仅依赖语义的基线模型相比，实体嵌入与视觉显著性的结合在多大程度上提升了摘要质量？
• RQ3 基于图的方法在多大程度上增强了生成预告片的视觉吸引力和连贯性？
• RQ4 该系统能否在无需类别特定训练的情况下，泛化到多样化视频类别？

主要发现

• 与均匀基线相比，基于图的方法在视觉质量评分上提升了 11.16%，平均得分为 5 分制中的 3.94。
• 与均匀基线相比，语义模型在相关性方面提升了 2.72%，平均相关性得分为 5 分制中的 4.27。
• 基于图的摘要在视觉吸引力方面显著优于均匀模型和仅依赖语义的模型，表明视觉显著性具有重要价值。
• 即使没有直接的查询标注，该系统仍能成功识别语义相关的帧，展示了语义匹配的鲁棒性。
• 示例摘要表明，基于图的方法增强了多样性（例如，包含伪装的青蛙）和视觉趣味性（例如，外部汽车镜头），从而提升了整体吸引力。
• 人工评估确认，尽管平均得分差异细微，基于图的模型在相关性和视觉质量方面均优于基线模型。