[论文解读] Summary Transfer: Exemplar-based Subset Selection for Video Summarization

Ke Zhang, Wei‐Lun Chao+2 more|arXiv (Cornell University)|Mar 10, 2016

Video Analysis and Summarization参考文献 38被引用 38

一句话总结

本文提出了一种非参数化、基于样本的视频摘要方法，通过基于核函数的相似性与行列式点过程（DPPs）实现全局最优关键帧选择，将人类标注的训练视频中的摘要结构迁移至未见的测试视频。通过引入语义类别先验和子片段级相似性，该方法在YouTube、MED和SumMe等基准数据集上优于现有方法。

ABSTRACT

Video summarization has unprecedented importance to help us digest, browse, and search today's ever-growing video collections. We propose a novel subset selection technique that leverages supervision in the form of human-created summaries to perform automatic keyframe-based video summarization. The main idea is to nonparametrically transfer summary structures from annotated videos to unseen test videos. We show how to extend our method to exploit semantic side information about the video's category/genre to guide the transfer process by those training videos semantically consistent with the test input. We also show how to generalize our method to subshot-based summarization, which not only reduces computational costs but also provides more flexible ways of defining visual similarity across subshots spanning several frames. We conduct extensive evaluation on several benchmarks and demonstrate promising results, outperforming existing methods in several settings.

研究动机与目标

• 解决在输出空间组合爆炸且人类摘要缺乏全局标准的背景下自动视频摘要的挑战。
• 开发一种非参数化学习方法，将标注训练视频中的摘要结构迁移至未标注的测试视频，而无需复杂参数化模型。
• 通过引入视频类别等语义附加信息，指导结构迁移，提升摘要质量。
• 将方法扩展至基于子片段的摘要，以降低计算成本并实现更稳健的相似性度量。
• 证明通过子片段级表示可增强帧级相似性，并表明在此情境下浅层特征可优于深层特征。

提出的方法

• 该方法利用测试视频与训练视频之间的帧级视觉相似性，识别内容和摘要结构相似的示例视频。
• 通过其帧之间二值化成对相似性的编码，将每段训练视频的摘要结构表示为核矩阵。
• 通过组合训练视频的核矩阵与测试视频和训练视频之间的跨相似性，构建特定于测试视频的核矩阵，形成可迁移的摘要结构核。
• 通过在转移核上应用行列式点过程（DPP），解码最终摘要，确保全局最优、多样化且具代表性的关键帧选择。
• 通过使用语义先验加权相似性并优先选择语义一致类别的训练视频，实现类别感知的迁移。
• 通过在子片段级别计算相似性，将方法扩展至基于子片段的摘要，然后选择有代表性的子片段并提取其中间帧作为关键帧。

实验结果

研究问题

• RQ1 能否通过从人类标注视频中非参数化迁移摘要结构，来提升基于关键帧的自动视频摘要性能？
• RQ2 引入语义类别信息如何影响所迁移摘要结构的质量与鲁棒性？
• RQ3 与帧级相似性相比，子片段级相似性度量是否能带来更好的摘要性能？
• RQ4 该方法能否在测试视频类别未知的情况下，通过从训练数据中学习类别先验实现泛化？
• RQ5 在此基于示例的迁移框架中，浅层特征与深层特征的相对贡献如何？

主要发现

• 所提方法在基准数据集上优于九种现有技术，在YouTube数据集上F-score均值达61.5，在MED上为30.7，在SumMe上为40.2，使用类别感知软加权时表现更优。
• 基于子片段的摘要提升了关键帧选择效果，当使用类别先验时，YouTube数据集上的F-score从60.0提升至61.8，表明相似性度量更具鲁棒性。
• 即使测试视频的真实类别未知，使用类别先验也能提升性能，在SumMe上使用软类别加权时F-score提升1.7分。
• 该方法在不依赖深层特征的情况下仍取得优异结果；在此类基于迁移的设置中，浅层特征表现可与或优于深层特征。
• 图2中的失败案例揭示了一项局限：当训练示例在语义上不匹配（如海滩与自然）时，由于缺乏语义对齐，仅依赖视觉相似性可能导致遗漏相关帧。
• 该方法表明，通过核函数组合与DPP解码实现的结构迁移，可在无需端到端训练的情况下生成全局最优、多样化且具代表性的摘要。