[论文解读] Textually Customized Video Summaries.

Jinsoo Choi, Tae-Hyun Oh+1 more|arXiv (Cornell University)|Feb 6, 2017

Video Analysis and Summarization参考文献 26被引用 5

一句话总结

本文提出了一种通过渐进式、残差深度架构利用图像-字幕数据中学习到的视觉嵌入来生成文本定制化视频摘要的方法。给定用户的文本描述，该模型可选择语义相关的视频片段并生成时间对齐的摘要，其性能与使用真实标签信息的基线方法相当或更优。

ABSTRACT

The best summary of a long video differs among different people due to its highly subjective nature. Even for the same person, the best summary may change with time or mood. In this paper, we introduce the task of generating customized video summaries through simple text. First, we train a deep architecture to effectively learn semantic embeddings of video frames by leveraging the abundance of image-caption data via a progressive and residual manner. Given a user-specific text description, our algorithm is able to select semantically relevant video segments and produce a temporally aligned video summary. In order to evaluate our textually customized video summaries, we conduct experimental comparison with baseline methods that utilize ground-truth information. Despite the challenging baselines, our method still manages to show comparable or even exceeding performance. We also show that our method is able to generate semantically diverse video summaries by only utilizing the learned visual embeddings.

研究动机与目标

• 通过文本描述实现用户特定的定制化，以应对视频摘要的高度主观性。
• 开发一种深度学习模型，利用渐进式和残差训练策略，从大量图像-字幕数据中学习鲁棒的视觉嵌入。
• 生成与用户提供的文本描述在时间上对齐的语义相关视频摘要。
• 在使用真实标签信息的挑战性基线条件下评估该方法，证明其在缺乏此类监督的情况下仍具有效性。
• 展示模型仅使用学习到的视觉表示即可生成语义多样的摘要的能力。

提出的方法

• 采用渐进式和残差方式训练深层架构，利用大规模图像-字幕数据学习视频帧的语义嵌入。
• 该模型利用这些学习到的视觉嵌入，将用户提供的文本描述与相关视频片段进行匹配。
• 通过嵌入空间中的语义相似度计算文本描述与视频帧之间的相关性。
• 系统选择在时间上连贯、与输入文本描述语义内容对齐的视频片段。
• 该方法在推理过程中不依赖真实标签摘要，仅使用学习到的视觉表示和文本输入。
• 通过改变输入文本描述，该架构可生成多样化的摘要，即使在没有真实标签注释的情况下亦可实现。

实验结果

研究问题

• RQ1 模型能否在不依赖真实标签摘要的情况下，生成与用户提供的文本描述语义对齐的视频摘要？
• RQ2 学习到的视觉嵌入空间在捕捉文本与视频内容之间语义相关性方面有多有效？
• RQ3 通过仅改变输入文本描述，模型能否生成多样且个性化的摘要？
• RQ4 与使用真实标签信息的基线方法相比，该方法在摘要质量方面表现如何？
• RQ5 渐进式和残差训练策略在多大程度上提升了视觉嵌入的质量，从而改善视频摘要性能？

主要发现

• 所提方法的性能与使用真实标签信息的基线方法相当或更优，表明其具备强大的零样本泛化能力。
• 通过仅改变输入文本描述，模型成功生成了语义多样的视频摘要，表明实现了有效的语义控制。
• 学习到的视觉嵌入能有效捕捉文本与视频之间的语义关系，从而实现准确的片段选择。
• 渐进式和残差训练策略提升了视觉嵌入的质量，从而改善了下游摘要生成性能。
• 该方法在推理过程中无需任何标注摘要，仅依赖学习到的表示和用户文本。
• 系统生成的时间连贯摘要与输入文本描述的语义内容保持一致。