[论文解读] UMT: Unified Multi-modal Transformers for Joint Video Moment Retrieval and Highlight Detection

Ye Liu, Siyuan Li+4 more|arXiv (Cornell University)|Mar 23, 2022

Multimodal Machine Learning Applications被引用 8

一句话总结

本文提出UMT，一种统一的多模态Transformer框架，通过文本、视觉和音频输入联合执行视频时刻检索与亮点检测。通过将时刻检索建模为可学习查询与跨模态注意力机制的关节点检测问题，UMT在多个基准测试中达到最先进性能，包括在QVHighlights数据集上取得39.85 mAP，在TVSum数据集上取得83.14 mAP，同时保持对模态变化的灵活性，并可在需要时退化为单一任务。

ABSTRACT

Finding relevant moments and highlights in videos according to natural language queries is a natural and highly valuable common need in the current video content explosion era. Nevertheless, jointly conducting moment retrieval and highlight detection is an emerging research topic, even though its component problems and some related tasks have already been studied for a while. In this paper, we present the first unified framework, named Unified Multi-modal Transformers (UMT), capable of realizing such joint optimization while can also be easily degenerated for solving individual problems. As far as we are aware, this is the first scheme to integrate multi-modal (visual-audio) learning for either joint optimization or the individual moment retrieval task, and tackles moment retrieval as a keypoint detection problem using a novel query generator and query decoder. Extensive comparisons with existing methods and ablation studies on QVHighlights, Charades-STA, YouTube Highlights, and TVSum datasets demonstrate the effectiveness, superiority, and flexibility of the proposed method under various settings. Source code and pre-trained models are available at https://github.com/TencentARC/UMT.

研究动机与目标

• 为解决视频时刻检索与亮点检测联合优化方面的空白，二者密切相关但极少被共同研究。
• 将多模态输入（文本、视觉、音频）整合到单一统一框架中，以提升在模态质量变化情况下的鲁棒性与性能。
• 设计一种灵活的架构，可在某些输入缺失或不可靠时退化为单独解决任务（如仅进行时刻检索或亮点检测）。
• 通过查询生成器与解码器将时刻检索建模为关节点检测问题，提升边界预测精度。
• 验证多任务协同优化的有效性以及各损失组件在联合学习中的贡献。

提出的方法

• UMT采用统一的Transformer架构，包含独立的单模态编码器用于视频与音频，以及一个跨模态编码器用于融合文本与视觉、音频特征。
• 引入可学习查询生成器，生成由文本引导的查询以用于时刻检索，替代固定的位置编码，实现可变长度输出序列。
• 查询解码器利用这些学习到的查询预测时刻边界作为关节点坐标，将时刻检索视为关节点检测任务。
• 该框架支持多种输入模态组合：仅文本、仅视频、仅音频或多模态输入，当输入缺失时可动态停用相应编码器。
• 采用包含三部分的多任务损失：中心损失（$\mathcal{L}_c$）、窗口损失（$\mathcal{L}_w$）和偏移损失（$\mathcal{L}_o$），以实现精确的边界预测。
• 模型通过端到端联合优化时刻检索与亮点检测进行训练，利用任务间的相关性实现性能提升。

实验结果

研究问题

• RQ1 统一的多模态Transformer框架能否在不同输入条件下有效且灵活地同时执行视频时刻检索与亮点检测？
• RQ2 与单模态或有限输入基线相比，多模态学习（文本、视觉、音频）如何提升性能？
• RQ3 时刻检索与亮点检测的多任务协同优化是否能带来性能增益，相比单任务训练？
• RQ4 偏移损失在提升时刻边界预测精度方面有何贡献？
• RQ5 在文本引导设置下，文本查询的相关性如何影响亮点检测性能？

主要发现

• 在QVHighlights验证集上，UMT在亮点检测任务中取得39.85 mAP，优于先前方法如Moment-DETR与Joint-VA。
• 在TVSum数据集上，UMT在亮点检测任务中达到83.14 mAP，即使未接受显式的时刻检索监督，也表现出强大性能。
• 在QVHighlights上联合训练时，UMT在时刻检索任务中取得60.26% R1@0.5与38.59% mAP，显著优于相同设置下的Moment-DETR。
• 引入偏移损失（$\mathcal{L}_o$）使mAP从37.36%提升至38.59%，证实其在精确边界预测中的重要性。
• 当文本查询高度相关时（如QVHighlights），亮点检测mAP从33.42%提升至64.19%，表明性能对查询相关性高度依赖。
• 多任务协同优化显著提升了时刻检索性能，相比单任务训练，UMT在该任务上相较Moment-DETR展现出更优增益，尤其在时刻检索任务中。