[论文解读] Query-Conditioned Three-Player Adversarial Network for Video Summarization.

Yujia Zhang, Michael Kampffmeyer+3 more|arXiv (Cornell University)|Jul 1, 2018

Video Analysis and Summarization被引用 5

一句话总结

本文提出了一种查询条件化的三玩家生成对抗网络（3P-GAN）用于视频摘要，通过联合建模用户查询与视频内容，生成用户导向的摘要。通过引入三玩家损失机制，该模型提升了摘要质量并防止了平凡生成，在基准数据集上的表现优于先前方法。

ABSTRACT

Video summarization plays an important role in video understanding by selecting key frames/shots. Traditionally, it aims to find the most representative and diverse contents in a video as short summaries. Recently, a more generalized task, query-conditioned video summarization, has been introduced, which takes user queries into consideration to learn more user-oriented summaries. In this paper, we propose a query-conditioned three-player generative adversarial network to tackle this challenge. The generator learns the joint representation of the user query and the video content, and the discriminator takes three pairs of query-conditioned summaries as the input to discriminate the real summary from a generated and a random one. A three-player loss is introduced for joint training of the generator and the discriminator, which forces the generator to learn better summary results, and avoids the generation of random trivial summaries. Experiments on a recently proposed query-conditioned video summarization benchmark dataset show the efficiency and efficacy of our proposed method.

研究动机与目标

• 通过在摘要生成过程中引入用户查询，解决生成用户导向视频摘要的挑战。
• 克服传统视频摘要方法的局限性，后者仅关注代表性与多样性，而缺乏查询相关性。
• 开发一种生成对抗框架，联合学习查询与视频表示，以提升摘要质量。
• 通过一种新颖的三玩家对抗训练机制，防止生成器产生随机或平凡的摘要。

提出的方法

• 提出一种三玩家 GAN 架构，其中生成器基于视频和查询输入生成查询条件化的视频摘要。
• 设计一个判别器，通过查询条件化输入评估三对摘要——真实摘要、生成摘要和随机摘要，以提升判别能力。
• 引入一种三玩家损失函数，联合优化生成器与判别器，以增强摘要质量与多样性。
• 训练生成器学习视频内容与用户查询的联合表示，从而实现上下文感知的摘要生成。
• 采用包含三种不同摘要类型的对抗训练，以稳定学习过程并抑制平凡输出。
• 利用最近提出的一个用于查询条件化视频摘要的基准数据集来评估模型。

实验结果

研究问题

• RQ1 与标准 GAN 相比，三玩家 GAN 框架是否能提升查询条件化视频摘要的质量与相关性？
• RQ2 所提出的三玩家损失在防止生成器产生随机或无信息摘要方面是否有效？
• RQ3 对查询与视频内容进行联合建模，在多大程度上提升了摘要的相关性与多样性？
• RQ4 判别器区分真实、生成与随机摘要的能力是否带来了生成器性能的提升？

主要发现

• 所提出的 3P-GAN 在近期一个查询条件化视频摘要基准数据集上实现了卓越性能。
• 三玩家损失机制有效减少了平凡或无信息摘要的生成。
• 对查询与视频内容的联合建模，相比基线方法，生成了更相关且更多样化的摘要。
• 判别器的三元分类任务增强了生成器生成高质量、用户导向摘要的能力。