[论文解读] Video Summarization with Attention-Based Encoder-Decoder Networks

Zhong Ji, Kailin Xiong+2 more|arXiv (Cornell University)|Aug 31, 2017

Video Analysis and Summarization参考文献 17被引用 54

一句话总结

本论文提出 AVS，一种用于有监督视频摘要的注意力编码器-解码器框架，在 SumMe 和 TVSum 数据集上通过 A-AVS 和 M-AVS 模型实现了相对于最先进方法的改进。

ABSTRACT

This paper addresses the problem of supervised video summarization by formulating it as a sequence-to-sequence learning problem, where the input is a sequence of original video frames, the output is a keyshot sequence. Our key idea is to learn a deep summarization network with attention mechanism to mimic the way of selecting the keyshots of human. To this end, we propose a novel video summarization framework named Attentive encoder-decoder networks for Video Summarization (AVS), in which the encoder uses a Bidirectional Long Short-Term Memory (BiLSTM) to encode the contextual information among the input video frames. As for the decoder, two attention-based LSTM networks are explored by using additive and multiplicative objective functions, respectively. Extensive experiments are conducted on three video summarization benchmark datasets, i.e., SumMe, and TVSum. The results demonstrate the superiority of the proposed AVS-based approaches against the state-of-the-art approaches,with remarkable improvements from 0.8% to 3% on two datasets,respectively..

研究动机与目标

• 通过生成紧凑且信息丰富的摘要，推动大规模视频内容的高效浏览与检索。
• 将视频摘要形式化为一个序列到序列的映射：将帧序列映射为关键镜头序列。
• 利用带注意力的 BiLSTM 编码器和带注意力的 LSTM 解码器来建模帧级重要性。
• 在 AVS 内开发两种注意力机制（加法和乘法）以学习在人工标注引导下的帧重要性。
• 在两个基准数据集上展示相对于最先进的有监督与无监督方法的优越性。

提出的方法

• 使用双向 LSTM（BiLSTM）编码器来捕捉视频帧之间的上下文信息。
• 结合带注意力的 LSTM 解码器，计算上下文向量 Vt 作为编码器注释 vt 的加权和，权重为 αt,i。
• 提出两种注意力评分方案：加法（A-AVS）和乘法（M-AVS），以衡量解码状态与编码器输出之间的相关性。
• 从解码器生成逐帧的重要性分数，并通过 Kernel Temporal Segmentation (KTS) 将其转换为逐镜头分数。
• 通过求解 0/1 背包问题在长度预算内选择关键镜头，形成最终视频摘要。
• 使用 2 个数据集（SumMe、TVSum）对方法进行评估，特征基于 GoogleNet，评估指标为 F-measure。

实验结果

研究问题

• RQ1 注意力驱动的编码器-解码器架构是否能比固定上下文编码器更有效地关注信息丰富的帧，从而提升有监督视频摘要的效果？
• RQ2 加法和乘法注意力在将解码输出与帧级视觉特征对齐方面是否带来不同的增益？
• RQ3 AVS 的变体在 SumMe 与 TVSum 上与最先进的有监督和无监督方法相比如何？
• RQ4 注意力机制和数据增强对摘要性能有何影响？

主要发现

• AVS 的变体（A-AVS 和 M-AVS）在 SumMe 和 TVSum 的 F-score 上超越了最先进的方法。
• 在两个数据集上，M-AVS 通常比 A-AVS 获得更高的性能。
• 基于注意力的 AVS 在 F-score 上比无注意力的 LSTM 基线（LSTM-VS）显著提升约 6-10%。
• 在约 9 帧的注意力尺度下达到峰值性能，表明与 KTS 分割后的镜头长度对齐。
• 通过将外部数据集纳入数据增强，在 SumMe 与 TVSum 的 F-score 上均获得稳定提升。
• AVS 方法在定性表现上比基线呈现出更均匀分布的高重要性镜头选择。