[论文解读] Towards Robust Text-Prompted Semantic Criterion for In-the-Wild Video Quality Assessment

Haoning Wu, Liang Liao+6 more|arXiv (Cornell University)|Apr 28, 2023

Image and Video Quality Assessment被引用 5

一句话总结

本文提出了BVQI与BVQI-Local两种零样本视频质量评估模型，利用基于CLIP的文本提示语义相似度，在无需人工标注分数的情况下评估视频质量。通过融合CLIP提取的语义相似度与低层次度量，并高效微调文本提示与融合权重，该方法实现了最先进性能，在所有数据集上均比现有零样本指标至少提升24%。

ABSTRACT

The proliferation of videos collected during in-the-wild natural settings has pushed the development of effective Video Quality Assessment (VQA) methodologies. Contemporary supervised opinion-driven VQA strategies predominantly hinge on training from expensive human annotations for quality scores, which limited the scale and distribution of VQA datasets and consequently led to unsatisfactory generalization capacity of methods driven by these data. On the other hand, although several handcrafted zero-shot quality indices do not require training from human opinions, they are unable to account for the semantics of videos, rendering them ineffective in comprehending complex authentic distortions (e.g., white balance, exposure) and assessing the quality of semantic content within videos. To address these challenges, we introduce the text-prompted Semantic Affinity Quality Index (SAQI) and its localized version (SAQI-Local) using Contrastive Language-Image Pre-training (CLIP) to ascertain the affinity between textual prompts and visual features, facilitating a comprehensive examination of semantic quality concerns without the reliance on human quality annotations. By amalgamating SAQI with existing low-level metrics, we propose the unified Blind Video Quality Index (BVQI) and its improved version, BVQI-Local, which demonstrates unprecedented performance, surpassing existing zero-shot indices by at least 24\% on all datasets. Moreover, we devise an efficient fine-tuning scheme for BVQI-Local that jointly optimizes text prompts and final fusion weights, resulting in state-of-the-art performance and superior generalization ability in comparison to prevalent opinion-driven VQA methods. We conduct comprehensive analyses to investigate different quality concerns of distinct indices, demonstrating the effectiveness and rationality of our design.

研究动机与目标

• 为解决由于人工标注质量分数成本高昂而导致的基于主观意见的VQA方法泛化能力有限的问题。
• 克服手工设计的零样本度量在真实失真中忽略语义内容的局限性。
• 为真实世界视频质量评估开发一种鲁棒、无需标注的语义感知质量准则。
• 实现对文本提示与融合权重的有效微调，以提升性能与泛化能力。
• 将语义与低层次质量评估统一为一个高效且可扩展的框架。

提出的方法

• 提出语义相似度质量指数（SAQI），通过CLIP的视觉-文本语义相似度，衡量视频特征与成对正/负质量提示之间的语义关联来评估视频质量。
• 引入SAQI-Local，即SAQI的局部化变体，通过分块级别评估提升对局部失真的敏感度。
• 将SAQI与传统低层次度量（空间与时间自然度）结合，形成统一的盲视频质量指数BVQI。
• 开发一种参数高效的微调方案，联合优化上下文提示与融合权重，用于BVQI-Local。
• 采用多提示聚合策略，使用反义词对（如清晰 vs. 模糊）以增强在不同数据集上的鲁棒性与性能。
• 使用可学习提示头（单层MLP）实现隐式提示优化，保留语言结构并提升性能。

实验结果

研究问题

• RQ1 基于CLIP的语义相似度准则是否能在无任何人工标注分数的情况下，有效评估野外视频质量？
• RQ2 语义与低层次度量的融合如何提升零样本VQA性能？
• RQ3 一种联合优化文本提示与融合权重的微调方案是否能超越现有基于主观意见的VQA方法？
• RQ4 提示设计（如反义词对、长度）对模型鲁棒性与泛化能力有何影响？
• RQ5 不同质量感知（如失真 vs. 内容吸引力）在不同数据集上的差异如何？模型能否捕捉这些差异？

主要发现

• BVQI-Local在所有基准数据集上均实现零样本VQA指标前所未有的性能，PLCC指标较现有方法至少提升24%。
• 使用反义词对的多提示聚合策略显著提升性能与泛化能力，在多样化数据集中均表现出一致增益。
• 对上下文提示与融合权重的微调显著提升性能，相比零样本基线表现优异，证明了所提优化方案的有效性。
• 优化上下文提示的效果优于直接优化文本嵌入，表明提示设计中语言结构的重要性。
• 单标记上下文提示已足够实现最优性能，表明在VQA任务中上下文饱和速度远快于高层视觉任务。
• 具体提示对如清晰 vs. 噪声、无损 vs. 有损在以失真为重点的数据集（如CVD2014）上与人类意见相关性更高，而愉悦 vs. 烦人提示对在用户生成内容数据集（如LIVE-VQC与KoNViD-1k）中更具相关性。