[论文解读] Video Quality Assessment: A Comprehensive Survey

Qi Zheng, Yibo Fan+9 more|arXiv (Cornell University)|Dec 4, 2024

Image and Video Quality Assessment被引用 4

一句话总结

本文全面综述了视频质量评估（VQA）方法，涵盖传统方法、无参考方法以及基于学习的方法。系统性地回顾了度量标准、模型、数据集和评估框架，为VQA研究提供了统一的概览，并指出了该领域中的关键挑战与未来研究方向。

ABSTRACT

Video quality assessment (VQA) is an important processing task, aiming at predicting the quality of videos in a manner highly consistent with human judgments of perceived quality. Traditional VQA models based on natural image and/or video statistics, which are inspired both by models of projected images of the real world and by dual models of the human visual system, deliver only limited prediction performances on real-world user-generated content (UGC), as exemplified in recent large-scale VQA databases containing large numbers of diverse video contents crawled from the web. Fortunately, recent advances in deep neural networks and Large Multimodality Models (LMMs) have enabled significant progress in solving this problem, yielding better results than prior handcrafted models. Numerous deep learning-based VQA models have been developed, with progress in this direction driven by the creation of content-diverse, large-scale human-labeled databases that supply ground truth psychometric video quality data. Here, we present a comprehensive survey of recent progress in the development of VQA algorithms and the benchmarking studies and databases that make them possible. We also analyze open research directions on study design and VQA algorithm architectures. Github link: https://github.com/taco-group/Video-Quality-Assessment-A-Comprehensive-Survey.

研究动机与目标

• 提供视频质量评估（VQA）技术的系统性与最新综述。
• 分析无参考、减参考和全参考VQA模型的演变过程与当前状态。
• 使用标准化数据集评估现有VQA度量标准的性能与局限性。
• 识别VQA中的开放性挑战与未来研究方向，包括深度学习的整合与感知建模。
• 为视频质量研究与应用领域的研究人员和从业者提供参考。

提出的方法

• 根据可用参考信息，将VQA方法分类为全参考、减参考和无参考框架。
• 回顾经典度量标准（如PSNR、SSIM和VMAF），并分析其感知相关性与局限性。
• 研究基于学习的VQA模型，这些模型利用卷积神经网络（CNNs）和度量学习进行质量预测。
• 分析感知质量模型（包括结构特征与统计特征）在提升预测准确性方面的作用。
• 调查广泛使用的基准数据集（如TID2013、LIVE和KoNViD-1k），并评估其多样性与局限性。
• 比较VQA研究中使用的评估协议与度量标准，包括相关系数（如SROCC、LCC）和显著性检验。

实验结果

研究问题

• RQ1 在准确性和鲁棒性方面，不同VQA模型（全参考、减参考、无参考）如何比较？
• RQ2 传统VQA度量标准（如PSNR和SSIM）在捕捉人类视觉感知方面存在哪些关键局限性？
• RQ3 基于深度学习的VQA模型在预测主观视频质量方面，相较于经典方法在多大程度上表现更优？
• RQ4 基准数据集在VQA模型的泛化能力与评估中起到何种影响？
• RQ5 在开发感知准确、可扩展且通用的VQA解决方案方面，存在哪些开放性挑战？

主要发现

• 传统度量标准（如PSNR和SSIM）与人类主观意见的相关性有限，因其依赖于像素级差异。
• 基于深度学习的无参考VQA模型相较于经典方法，与主观平均意见得分（MOS）的相关性更高。
• VMAF度量标准在流媒体和压缩视频中表现出色，尤其在自适应码率场景下。
• KoNViD-1k和TID2013等数据集虽被广泛使用，但在内容类型、失真类型和质量范围方面存在偏差。
• 在深度学习模型中整合感知特征与注意力机制，可提升在多样化视频内容下的鲁棒性。
• 尽管已有进展，跨不同视频编码格式、分辨率和内容类型的泛化能力仍是VQA中的重大挑战。