[论文解读] Rethinking the Evaluation of Video Summaries

Mayu Otani, Yuta Nakashima+2 more|arXiv (Cornell University)|Mar 27, 2019

Video Analysis and Summarization参考文献 27被引用 12

一句话总结

本文挑战了使用F1分数与参考摘要对比的标准视频摘要评估方法的有效性，揭示了由于分割偏差的存在，随机摘要往往优于最先进方法。本文提出通过与人类标注的相关性来评估重要性分数排序，并引入可视化方法以更可靠地评估模型性能。

ABSTRACT

Video summarization is a technique to create a short skim of the original video while preserving the main stories/content. There exists a substantial interest in automatizing this process due to the rapid growth of the available material. The recent progress has been facilitated by public benchmark datasets, which enable easy and fair comparison of methods. Currently the established evaluation protocol is to compare the generated summary with respect to a set of reference summaries provided by the dataset. In this paper, we will provide in-depth assessment of this pipeline using two popular benchmark datasets. Surprisingly, we observe that randomly generated summaries achieve comparable or better performance to the state-of-the-art. In some cases, the random summaries outperform even the human generated summaries in leave-one-out experiments. Moreover, it turns out that the video segmentation, which is often considered as a fixed pre-processing method, has the most significant impact on the performance measure. Based on our observations, we propose alternative approaches for assessing the importance scores as well as an intuitive visualization of correlation between the estimated scoring and human annotations.

研究动机与目标

• 批判性评估视频摘要基准中广泛使用的基于F1的评估框架的有效性。
• 探究尽管重要性分数预测可能存在缺陷，最先进方法为何仍能获得高F1分数。
• 识别影响F1分数的主要因素，特别是视频分割和片段长度分布。
• 提出一种基于预测重要性分数与人类标注重要性分数排序之间相关性的新型评估范式。
• 引入直观的可视化方法，用于对比模型预测的重要程度排序与人类标注结果。

提出的方法

• 通过使用随机重要性分数和随机视频分割生成摘要，进行随机化检验。
• 对随机摘要应用标准F1评估协议，以建立基线性能水平。
• 分析视频分割，特别是片段长度分布，对F1分数结果的影响。
• 提出使用肯德尔等级相关系数（Kendall’s tau）或类似相关性度量，评估预测排序与人类标注排序之间的一致性。
• 引入累积分数曲线，以可视化不同分位数下预测与人类重要性排序之间的相关性。
• 采用留一法人类标注策略，计算参考相关性曲线，并与模型预测结果进行比较。

实验结果

研究问题

• RQ1 随机摘要与最先进视频摘要方法相比，在F1分数上能达到多大程度的可比性或优越性？
• RQ2 视频分割过程，特别是片段长度分布，对最终F1分数的影响有多大？
• RQ3 为何先进模型的重要度分数在当前基准中对最终摘要性能影响甚微？
• RQ4 预测与人类标注重要性分数排序之间的相关性，能否作为比最终摘要F1分数更可靠的评估指标？
• RQ5 如何通过可视化手段有效展示重要性分数预测质量相对于人类标注结果的优劣？

主要发现

• 在SumMe和TVSum基准上，使用随机重要性分数生成的随机摘要，其F1分数与最先进方法相当，甚至更高。
• 在留一法评估中，随机摘要有时甚至优于人类生成的摘要，表明评估协议存在根本性缺陷。
• F1分数主要由视频片段长度的分布决定，而非重要性分数预测的质量。
• 评估中的子集选择过程忽略了重要性分数的差异，导致分数对最终性能的影响基本可忽略。
• 基于相关性的评估方法——特别是累积分数曲线——能更全面、更可靠地评估重要性分数的质量。
• 相关性曲线的可视化清晰揭示了不一致性，例如存在将片段按与共识相反顺序标注的异常标注者。