[论文解读] VideoSET: Video Summary Evaluation through Text

Serena Yeung, Alireza Fathi+1 more|arXiv (Cornell University)|Jun 23, 2014

Video Analysis and Summarization参考文献 18被引用 42

一句话总结

VideoSET 是一种基于文本的评估框架，通过使用自然语言处理（NLP）指标将生成的文本表示与人工编写的基准摘要进行比较，衡量视频摘要在保留语义内容方面的能力。其与人类判断的一致性达到 61.0%，显著高于基于像素的方法，为视频摘要研究提供了一种自动化、可复现且语义基础坚实的评估标准。

ABSTRACT

In this paper we present VideoSET, a method for Video Summary Evaluation through Text that can evaluate how well a video summary is able to retain the semantic information contained in its original video. We observe that semantics is most easily expressed in words, and develop a text-based approach for the evaluation. Given a video summary, a text representation of the video summary is first generated, and an NLP-based metric is then used to measure its semantic distance to ground-truth text summaries written by humans. We show that our technique has higher agreement with human judgment than pixel-based distance metrics. We also release text annotations and ground-truth text summaries for a number of publicly available video datasets, for use by the computer vision community.

研究动机与目标

• 解决视频摘要评估中缺乏标准化、自动化且可复现方法的问题。
• 克服基于像素的度量方法无法捕捉语义相似性的局限性。
• 开发一种与人类判断在评估视频摘要语义保真度方面高度相关的框架。
• 实现在无需人工参与的情况下，对视频数据集进行高效、可扩展且可重复的评估。
• 发布文本标注和基准摘要，以支持社区范围内的基准测试和方法比较。

提出的方法

• 利用现有的视频级别文本标注，生成视频摘要的文本表示。
• 使用基于自然语言处理的内容相似性度量指标，衡量生成摘要文本与人工编写的基准摘要之间的语义相似性。
• 使用自然语言处理技术计算语义距离，优先考虑语义表达而非视觉特征。
• 通过将 VideoSET 得分与人类在成对摘要比较中的判断进行对比，评估性能。
• 在完整摘要和子片段级别比较中，将 VideoSET 结果与基于像素的距离度量进行对比。
• 对 1,200 个子片段比较进行人工评估，以验证其在不同类型判断中与人类感知的一致性。

实验结果

研究问题

• RQ1 基于文本的评估方法是否能在视频摘要评估中实现比基于像素的视觉距离度量更高的与人类判断的一致性？
• RQ2 视频摘要的文本表示在多大程度上反映了原始视频的语义内容？
• RQ3 与人类感知相比，该方法在区分语义相似与不相似的子片段方面表现如何？
• RQ4 该框架是否可以无需评估期间的人工标注，可靠且自动地应用于多样化的视频数据集？
• RQ5 使用人工编写的基准摘要作为参考，是否能提高自动化评分与人类判断之间的一致性？

主要发现

• 在从两个 2 分钟的摘要中选择哪一个在语义上更接近基准摘要时，VideoSET 与人类判断的一致性达到 61.0%，优于基于像素的度量方法（52.5%）。
• 在子片段级别比较中，当 VideoSET 与基于像素的度量方法在判断相似性上不一致时，VideoSET 与人类判断的一致性为 8.8%，而基于像素的方法仅为 25.8%。
• 当 VideoSET 与基于像素的度量方法在判断哪个子片段更相似上达成一致时，VideoSET 与人类判断的一致性达到 91.5%，而基于像素的方法仅为 53.6%。
• VideoSET 在 65.1% 的情况下正确识别出零相似度对，与人类感知（77.3%）高度一致，表明其在检测语义无关性方面具有强大一致性。
• 图 6 中的示例表明，VideoSET 与基于像素的度量方法在语义相似性判断上存在分歧，而 VideoSET 始终更符合人类选择。
• 该框架实现了自动化、可扩展且可复现的评估，为成本高昂且不一致的用户研究提供了一种可行的替代方案。