[论文解读] Video Understanding with Large Language Models: A Survey

Yun‐Long Tang, Jing Bi+18 more|arXiv (Cornell University)|Dec 29, 2023

Multimodal Machine Learning Applications被引用 6

一句话总结

本综述全面回顾了基于大语言模型的视频理解（Vid-LLMs），将方法分类为基于大语言模型的视频智能体、预训练、指令微调以及混合方法。综述指出，Vid-LLMs在开放式的时空推理和常识理解方面展现出新兴能力，同时指出了幻觉、长视频理解以及多模态对齐等关键挑战，并为未来研究提供了路线图。

ABSTRACT

With the burgeoning growth of online video platforms and the escalating volume of video content, the demand for proficient video understanding tools has intensified markedly. Given the remarkable capabilities of large language models (LLMs) in language and multimodal tasks, this survey provides a detailed overview of recent advancements in video understanding that harness the power of LLMs (Vid-LLMs). The emergent capabilities of Vid-LLMs are surprisingly advanced, particularly their ability for open-ended multi-granularity (general, temporal, and spatiotemporal) reasoning combined with commonsense knowledge, suggesting a promising path for future video understanding. We examine the unique characteristics and capabilities of Vid-LLMs, categorizing the approaches into three main types: Video Analyzer x LLM, Video Embedder x LLM, and (Analyzer + Embedder) x LLM. Furthermore, we identify five sub-types based on the functions of LLMs in Vid-LLMs: LLM as Summarizer, LLM as Manager, LLM as Text Decoder, LLM as Regressor, and LLM as Hidden Layer. Furthermore, this survey presents a comprehensive study of the tasks, datasets, benchmarks, and evaluation methodologies for Vid-LLMs. Additionally, it explores the expansive applications of Vid-LLMs across various domains, highlighting their remarkable scalability and versatility in real-world video understanding challenges. Finally, it summarizes the limitations of existing Vid-LLMs and outlines directions for future research. For more information, readers are recommended to visit the repository at https://github.com/yunlong10/Awesome-LLMs-for-Video-Understanding.

研究动机与目标

• 提供基于大语言模型的视频理解（Vid-LLMs）近期进展的全面、最新综述。
• 分析Vid-LLMs的独特能力，特别是其在开放式时空推理和常识知识融合方面的新兴能力。
• 识别并讨论Vid-LLM开发中的关键挑战，包括幻觉、长视频理解以及多模态对齐问题。
• 梳理Vid-LLM研究中当前的任务、数据集、基准测试和评估协议的格局。
• 概述提升可扩展性、交互保真度和现实世界视频理解应用鲁棒性的未来研究方向。

提出的方法

• 将Vid-LLM方法分类为四类：基于大语言模型的视频智能体、Vid-LLM预训练、使用适配器（连接式、插入式、混合式）的指令微调，以及结合大语言模型与专用视频编码器的混合方法。
• 回顾视觉与语言模态融合的训练策略，强调视频特定预训练以及在指令遵循数据上微调的作用。
• 分析语言在视频理解中的作用，包括大语言模型如何实现跨空间与时间维度的文本与视觉内容对齐。
• 评估各种基于适配器的微调技术在仅需少量参数更新的情况下将大语言模型适配于视频理解的有效性。
• 研究多模态融合技术，重点关注视觉、音频与文本信号在时间与空间维度上的同步。
• 提出一种系统性框架，通过标准化基准测试，评估Vid-LLM在识别、字幕生成、定位、检索和问答任务中的性能。

实验结果

研究问题

• RQ1 Vid-LLMs 如何在视频内容中实现开放式的时空推理与常识理解？
• RQ2 在四类方法（视频智能体、预训练、指令微调、混合方法）中，哪些关键的架构与训练范式使Vid-LLM方法表现出色？
• RQ3 当前Vid-LLMs的主要局限性是什么，特别是关于幻觉、长视频理解以及多模态对齐方面？
• RQ4 现有数据集与评估指标在多大程度上支持或制约了Vid-LLMs的开发与基准测试？
• RQ5 Vid-LLMs最具前景的应用领域是什么，人类-AI视频理解协作中仍存在哪些交互挑战？

主要发现

• Vid-LLMs 在开放式推理与常识理解方面展现出新兴能力，在复杂视频理解任务中显著优于先前方法。
• 采用基于适配器的指令微调（尤其是混合适配器）可高效实现大语言模型向视频理解的适配，且参数效率高。
• 在大规模视频-语言数据集上进行预训练，显著提升了Vid-LLMs在多样化任务中的可扩展性与零样本泛化能力。
• 幻觉仍是关键问题，主要源于视觉与语言表征之间的领域差异，以及视觉特征提取不足。
• 长视频理解仍是重大挑战，模型在长时间跨度内维持注意力与事件追踪的能力有限。
• 多模态对齐——尤其是空间、时间与语义维度的对齐——仍发展不足，高质量、同步的多模态数据集稀缺。