[论文解读] Text-to-Clip Video Retrieval with Early Fusion and Re-Captioning.

Huijuan Xu, Kun He+3 more|arXiv (Cornell University)|Apr 13, 2018

Multimodal Machine Learning Applications参考文献 50被引用 23

一句话总结

本文提出了一种多层级文本到视频片段检索模型，通过早期融合视觉与语言特征，提升检索准确率与效率。通过在视频片段候选生成阶段注入文本特征，并利用视觉特征调节单词级别的句子处理，该方法在 Charades-STA 和 ActivityNet Captions 基准上实现了最先进性能，采用包含查询重生成作为辅助任务的多任务损失函数。

ABSTRACT

We address the problem of text-based activity retrieval in video. Given a sentence describing an activity, our task is to retrieve matching clips from an untrimmed video. To capture the inherent structures present in both text and video, we introduce a multilevel model that integrates vision and language features earlier and more tightly than prior work. First, we inject text features early on when generating clip proposals, to help eliminate unlikely clips and thus speed up processing and boost performance. Second, to learn a fine-grained similarity metric for retrieval, we use visual features to modulate the processing of query sentences at the word level in a recurrent neural network. A multi-task loss is also employed by adding query re-generation as an auxiliary task. Our approach significantly outperforms prior work on two challenging benchmarks: Charades-STA and ActivityNet Captions.

研究动机与目标

• 通过利用视觉与语言特征的早期且紧密的融合，提升基于文本的视频检索性能。
• 通过使用文本特征引导视频片段候选生成，降低计算成本并提升检索性能。
• 通过视觉调节句子处理过程，学习文本查询与视频片段之间的细粒度相似性度量。
• 通过多任务学习引入查询重生成作为辅助任务，增强表征学习能力。
• 在两个具有挑战性的视频检索基准上实现最先进结果：Charades-STA 和 ActivityNet Captions。

提出的方法

• 通过在视频片段候选生成阶段注入文本特征，实现早期融合，以过滤掉不相关的候选片段并加速处理过程。
• 在循环神经网络中，利用视觉特征调节单词级别的查询句子处理，实现文本与视频之间的细粒度对齐。
• 采用多任务学习框架，其中主任务为检索，辅助任务为查询重生成。
• 通过引入文本上下文增强的区域提议网络生成视频片段候选，提升相关性并缩小搜索空间。
• 模型使用联合损失函数，结合检索损失与重生成损失，联合优化两个任务。
• 该架构支持跨文本与视频模态共享表征的端到端训练。

实验结果

研究问题

• RQ1 视觉与语言特征的早期融合是否能提升文本到视频片段检索的效率与准确率？
• RQ2 在单词级别对句子处理过程进行视觉调节，如何增强查询与视频片段之间的细粒度对齐？
• RQ3 将查询重生成作为辅助任务，能在多大程度上提升检索任务的表征学习能力？
• RQ4 所提出方法在标准基准（如 Charades-STA 和 ActivityNet Captions）上与先前方法相比表现如何？
• RQ5 在视频片段候选生成阶段集成文本信息，是否能降低计算开销而不损失检索性能？

主要发现

• 所提方法在 Charades-STA 基准上实现了最先进性能，检索准确率超越先前工作。
• 在 ActivityNet Captions 数据集上，该模型显著优于现有方法，检索性能得到提升。
• 采用早期融合可减少候选视频片段数量，从而实现更快的推理速度与更低的计算成本。
• 查询重生成作为辅助任务，有助于学习更鲁棒且更具判别性的文本与视频表征。
• 在单词级别对句子处理进行视觉调节，带来更细粒度的对齐，提升检索精确率。
• 采用联合优化的多任务学习设置，增强了模型在不同视频描述下的泛化能力与鲁棒性。