[论文解读] Towards Visual-Prompt Temporal Answering Grounding in Medical Instructional Video

Bin Li, Yixuan Weng+2 more|arXiv (Cornell University)|Mar 13, 2022

Multimodal Machine Learning Applications被引用 7

一句话总结

本文提出视觉提示文本跨度定位（VPTSL），一种新颖的方法，用于医学教学视频中的时序问答定位，通过将视觉高亮特征注入预训练语言模型，增强跨模态对齐。通过利用带时间戳的字幕作为文本片段，并使用视觉提示弥合文本与视频之间的语义鸿沟，VPTSL在MedVidQA数据集上相比SOTA方法实现了28.36%更高的mIOU，显著提升了跨度定位的准确性。

ABSTRACT

The temporal answering grounding in the video (TAGV) is a new task naturally derived from temporal sentence grounding in the video (TSGV). Given an untrimmed video and a text question, this task aims at locating the matching span from the video that can semantically answer the question. Existing methods tend to formulate the TAGV task with a visual span-based question answering (QA) approach by matching the visual frame span queried by the text question. However, due to the weak correlations and huge gaps of the semantic features between the textual question and visual answer, existing methods adopting visual span predictor perform poorly in the TAGV task. To bridge these gaps, we propose a visual-prompt text span localizing (VPTSL) method, which introduces the timestamped subtitles as a passage to perform the text span localization for the input text question, and prompts the visual highlight features into the pre-trained language model (PLM) for enhancing the joint semantic representations. Specifically, the context query attention is utilized to perform cross-modal interaction between the extracted textual and visual features. Then, the highlight features are obtained through the video-text highlighting for the visual prompt. To alleviate semantic differences between textual and visual features, we design the text span predictor by encoding the question, the subtitles, and the prompted visual highlight features with the PLM. As a result, the TAGV task is formulated to predict the span of subtitles matching the visual answer. Extensive experiments on the medical instructional dataset, namely MedVidQA, show that the proposed VPTSL outperforms the state-of-the-art (SOTA) method by 28.36% in terms of mIOU with a large margin, which demonstrates the effectiveness of the proposed visual prompt and the text span predictor.

研究动机与目标

• 为解决时序问答定位（TAGV）中文本问题与视觉视频跨度之间语义错位的挑战。
• 改善医学教学视频中文本与视频模态间相关性弱、语义鸿沟大的跨模态理解问题。
• 通过将视觉高亮特征作为提示注入预训练语言模型（PLM），提升跨度预测的准确性。
• 将TAGV任务重新定义为在带时间戳字幕上的文本跨度定位，而非直接进行视频帧回归。

提出的方法

• 提出一种视觉提示学习框架，利用视频-文本高亮生成视觉高亮特征作为PLM的提示。
• 采用上下文查询注意力机制，实现文本特征（来自问题和字幕）与视觉高亮特征之间的跨模态交互。
• 设计一个文本跨度预测器，利用预训练语言模型编码问题、带时间戳的字幕以及提示化的视觉特征，以预测字幕中的答案跨度。
• 使用高亮损失监督视觉提示的生成，确保视觉高亮与相关字幕跨度之间的一致性。
• 引入扩展时间超参数α，扩展预测跨度周围的输入文本范围，提升对时序变化的鲁棒性。
• 利用预训练语言模型（PLM）实现强大的语义理解，替代随机初始化或word2vec-based初始化。

实验结果

研究问题

• RQ1 视觉提示是否能有效弥合医学教学视频中文本问题与视觉视频答案之间的语义鸿沟？
• RQ2 将带时间戳的字幕作为文本片段使用，相比直接进行帧级预测，能否提升时序答案定位的准确性？
• RQ3 将视觉特征通过提示注入PLM，能在多大程度上增强用于跨度定位的联合文本-视频表征学习？
• RQ4 超参数如扩展时间率α和视觉提示损失权重λ的最优配置是什么，以实现鲁棒性能？
• RQ5 视觉提示是否能改善注意力在字幕中语言与非语言部分的分布，从而实现更精确的跨度预测？

主要发现

• 所提出的VPTSL方法在MedVidQA数据集上相比SOTA方法实现了28.36%更高的mIOU，表现出显著的性能提升。
• 移除视觉提示后mIOU下降2.4，证实其在对齐文本与视觉语义方面起着关键作用。
• 使用预训练语言模型相比随机初始化使mIOU提升2.11分，凸显了强大语义编码的重要性。
• 最优扩展时间超参数α = 0.25时性能最佳，过高或过低的值均导致性能下降。
• 最优视觉提示损失权重λ = 0.1时性能最大化，表明平衡的监督能提升预测质量。
• 注意力可视化结果表明，视觉提示增强了对答案跨度内相邻字幕的注意力，尤其在连接语言与非语言成分方面效果显著。