[论文解读] Tem-adapter: Adapting Image-Text Pretraining for Video Question Answer

Guangyi Chen, Xiao Liu+5 more|arXiv (Cornell University)|Aug 16, 2023

Multimodal Machine Learning ApplicationsComputer Science被引用 3

一句话总结

Tem-Adapter 提出了一种轻量级适配器框架，通过引入语言引导的自回归学习的时序对齐器以捕捉视频动态，并通过语义对齐器利用视频条件解码来优化文本表征，从而将图像-文本预训练模型（如 CLIP）适配用于视频问答任务。该方法在 VideoQA 基准测试中实现了最先进性能，仅需极少的参数更新，显著优于现有的适配器和提示调优方法。

ABSTRACT

Video-language pre-trained models have shown remarkable success in guiding video question-answering (VideoQA) tasks. However, due to the length of video sequences, training large-scale video-based models incurs considerably higher costs than training image-based ones. This motivates us to leverage the knowledge from image-based pretraining, despite the obvious gaps between image and video domains. To bridge these gaps, in this paper, we propose Tem-Adapter, which enables the learning of temporal dynamics and complex semantics by a visual Temporal Aligner and a textual Semantic Aligner. Unlike conventional pretrained knowledge adaptation methods that only concentrate on the downstream task objective, the Temporal Aligner introduces an extra language-guided autoregressive task aimed at facilitating the learning of temporal dependencies, with the objective of predicting future states based on historical clues and language guidance that describes event progression. Besides, to reduce the semantic gap and adapt the textual representation for better event description, we introduce a Semantic Aligner that first designs a template to fuse question and answer pairs as event descriptions and then learns a Transformer decoder with the whole video sequence as guidance for refinement. We evaluate Tem-Adapter and different pre-train transferring methods on two VideoQA benchmarks, and the significant performance improvement demonstrates the effectiveness of our method.

研究动机与目标

• 为降低大规模视频-语言模型训练成本，利用 CLIP 等预训练图像-文本模型。
• 弥合视频问答中静态图像理解与动态视频理解之间的领域差距。
• 在不微调主干网络的前提下，通过语言引导的自回归目标学习视频中的时序依赖关系。
• 通过基于模板的优化和视频条件文本生成，减少网络爬取文本与 VideoQA 问答对之间的语义差距。
• 仅使用极少参数实现强大的 VideoQA 性能，并支持高效推理。

提出的方法

• 引入时序对齐器，利用 Transformer 编码器建模视频帧之间的依赖关系，并通过条件 Transformer 解码器基于历史视觉特征和语言引导预测未来帧。
• 采用语言引导的自回归任务，其中解码器在给定过去帧和事件进展语言描述的条件下，重建未来视频帧。
• 设计基于规则的模板，将问题-答案对融合为陈述性事件描述，以减少预训练任务与下游任务之间的语义差距。
• 实现一个语义对齐器，其采用 Transformer 解码器，通过关注完整视频序列作为上下文来优化文本嵌入，从而实现视频-文本交互。
• 使用重建损失（PSNR）监督未来帧的自回归预测，以鼓励对时序动态的准确建模。
• 在 CLIP 的视觉和文本编码器中应用适配器，实现无需微调主干网络的参数高效适配。

实验结果

研究问题

• RQ1 是否可以不进行完整微调，有效将像 CLIP 这类预训练图像-文本模型适配用于 VideoQA？
• RQ2 引入语言引导的自回归任务是否能提升视频理解中的时序建模能力？
• RQ3 基于模板的文本优化与视频条件解码是否能减少预训练与 VideoQA 之间的语义差距？
• RQ4 所提出的组件——时序对齐器与语义对齐器——在性能上各自及协同发挥何种作用？
• RQ5 该适配器是否能在极小参数更新和低推理成本下实现 SOTA 性能？

主要发现

• Tem-Adapter 在 SUTD-TrafficQA 基准上达到 46.0% 的准确率，比次佳方法（CLIP-Adapter）高出 11.2 个百分点。
• 模型将单视频推理时间降低至 5.32 ms，同时保持高准确率，展现出显著的效率优势。
• 消融实验表明，移除时序对齐器或语义对齐器均导致性能显著下降，证实了二者必要性。
• 语言引导的自回归任务提升了时序建模能力，当同时使用时序对齐器与语言引导时，PSNR 从 27.4 提升至 29.1。
• 该方法在不同图像-文本预训练模型上均具有良好泛化能力，且仅引入 3.62M 个额外参数，仍保持强性能。
• 定性结果表明，Tem-Adapter 学习到了事件级动态，并通过跨模态交互显著提升了对视频事件的理解。