[论文解读] Zelda: Video Analytics using Vision-Language Models

Francisco Romero, Caleb Winston+3 more|arXiv (Cornell University)|May 5, 2023

Advanced Neural Network Applications被引用 4

一句话总结

Zelda 是一个视频分析系统，利用视觉语言模型（VLMs）实现对大规模视频数据集的自然语言查询，具备高表达性、相关性和多样性。它能自动提升提示质量，过滤低质量帧，并利用语义嵌入技术剪枝冗余结果，相比最先进系统，平均平均精度最高提升1.15倍，检索速度最快提升7.5倍。

ABSTRACT

Advances in ML have motivated the design of video analytics systems that allow for structured queries over video datasets. However, existing systems limit query expressivity, require users to specify an ML model per predicate, rely on complex optimizations that trade off accuracy for performance, and return large amounts of redundant and low-quality results. This paper focuses on the recently developed Vision-Language Models (VLMs) that allow users to query images using natural language like "cars during daytime at traffic intersections." Through an in-depth analysis, we show VLMs address three limitations of current video analytics systems: general expressivity, a single general purpose model to query many predicates, and are both simple and fast. However, VLMs still return large numbers of redundant and low-quality results that can overwhelm and burden users. In addition, VLMs often require manual prompt engineering to improve result relevance. We present Zelda: a video analytics system that uses VLMs to return both relevant and semantically diverse results for top-K queries on large video datasets. Zelda prompts the VLM with the user's query in natural language. Zelda then automatically adds discriminator and synonym terms to boost accuracy, and terms to identify low-quality frames. To improve result diversity, Zelda uses semantic-rich VLM embeddings in an algorithm that prunes similar frames while considering their relevance to the query and the number of top-K results requested. We evaluate Zelda across five datasets and 19 queries and quantitatively show it achieves higher mean average precision (up to 1.15x) and improves average pairwise similarity (up to 1.16x) compared to using VLMs out-of-the-box. We also compare Zelda to a state-of-the-art video analytics engine and show that Zelda retrieves results 7.5x (up to 10.4x) faster for the same accuracy and frame diversity.

研究动机与目标

• 解决当前视频分析系统表达能力有限的问题，这些系统将查询限制在预定义的模型类别内。
• 克服用户需为每个查询谓词手动选择并训练多个机器学习模型的需要。
• 降低现有视频分析流水线中固有的系统复杂性以及性能与准确率之间的权衡。
• 通过提升结果的多样性和质量，缓解在 top-K 视频检索中冗余和低质量结果的问题。
• 利用单一通用 VLM 实现快速、准确且用户友好的视频分析，无需查询特定的训练或标注。

提出的方法

• 使用预训练的视觉语言模型（VLM）将用户的自然语言查询编码，并计算查询与视频帧之间的语义相似度。
• 通过自动添加判别词（如 'not'、'except'）和同义词来增强用户查询，以提高检索准确率和鲁棒性。
• 利用基于 VLM 的嵌入识别并过滤低质量帧，检测模糊、噪声或无关内容。
• 应用基于语义多样性的剪枝算法，利用 VLM 生成的嵌入对帧进行排序和选择，确保 top-K 结果具有高相关性且两两之间相似度低。
• 利用 VLM 的零样本能力，支持复杂、多谓词查询，而无需重新训练或模型专业化。
• 通过避免查询特定的模型训练，仅依赖所有查询共享的快速 VLM 推理，实现效率优化。

Figure 1 . Current systems (a) limit predicate expressivity, require user expertise for model selection, and are complex to use. Our system Zelda (b) allows expressive querying in natural language using a single fast model while returning relevant and diverse results.

实验结果

研究问题

• RQ1 视觉语言模型（VLMs）能否作为视频分析系统中专用机器学习模型的通用、零样本替代方案？
• RQ2 通过同义词和判别词进行自动提示工程，在多大程度上能提升基于 VLM 的视频检索准确率？
• RQ3 基于语义嵌入的多样性剪枝在减少冗余结果的同时保持相关性方面有多有效？
• RQ4 与开箱即用的 VLM 推理相比，基于 VLM 的系统是否能在平均平均精度（MAP）上取得更高表现，并降低结果相似度？
• RQ5 在速度、准确率和结果多样性方面，Zelda 的端到端性能与最先进视频分析系统相比如何？

主要发现

• 与直接使用 VLM 相比，Zelda 将平均平均精度（MAP）最高提升 1.15 倍，显著提升了检索准确率。
• Zelda 将 top-K 结果之间的平均成对相似度最高降低 1.16 倍，表明检索帧的语义多样性得到显著改善。
• Zelda 的检索速度相比最先进系统（BlazeIt）最高提升 10.4 倍，同时保持了相当的准确率。
• 平均而言，Zelda 比表现最佳的基线系统快 7.5 倍，显示出在多种数据集上均具备出色的性能可扩展性。
• 该系统无需人工标注或额外训练，即可有效去除低质量帧，仅依赖基于 VLM 的质量评分。
• 基于语义相似度的多样性剪枝优于基于视觉相似度的方法，在减少超参数调优的同时，将 MAP 提升 1.06 倍。

Figure 2 . General architecture of vision-language models.