[论文解读] UNQA: Unified No-Reference Quality Assessment for Audio, Image, Video, and Audio-Visual Content

Yuqin Cao, Xiongkuo Min+4 more|arXiv (Cornell University)|Jul 29, 2024

Infrastructure Maintenance and Monitoring被引用 4

一句话总结

该论文提出UNQA，这是首个统一的无参考质量评估模型，通过单一架构联合预测音频、图像、视频及音视频内容的感知质量。通过采用多模态训练策略，对齐不同数据库间的差异性质量量表，UNQA在降低模型复杂度的同时，实现了最先进的性能，并在多种媒体类型上展现出优异的泛化能力。

ABSTRACT

As multimedia data flourishes on the Internet, quality assessment (QA) of multimedia data becomes paramount for digital media applications. Since multimedia data includes multiple modalities including audio, image, video, and audio-visual (A/V) content, researchers have developed a range of QA methods to evaluate the quality of different modality data. While they exclusively focus on addressing the single modality QA issues, a unified QA model that can handle diverse media across multiple modalities is still missing, whereas the latter can better resemble human perception behaviour and also have a wider range of applications. In this paper, we propose the Unified No-reference Quality Assessment model (UNQA) for audio, image, video, and A/V content, which tries to train a single QA model across different media modalities. To tackle the issue of inconsistent quality scales among different QA databases, we develop a multi-modality strategy to jointly train UNQA on multiple QA databases. Based on the input modality, UNQA selectively extracts the spatial features, motion features, and audio features, and calculates a final quality score via the four corresponding modality regression modules. Compared with existing QA methods, UNQA has two advantages: 1) the multi-modality training strategy makes the QA model learn more general and robust quality-aware feature representation as evidenced by the superior performance of UNQA compared to state-of-the-art QA methods. 2) UNQA reduces the number of models required to assess multimedia data across different modalities. and is friendly to deploy to practical applications.

研究动机与目标

• 为解决缺乏可同时评估多种媒体模态的统一质量评估模型的问题。
• 克服不同QA数据库间感知质量量表不一致的挑战（例如，[0,5] 与 [0,100] 量表的差异）。
• 开发一个参数高效、可泛化于音频、图像、视频及音视频内容的统一模型。
• 提升在现实应用中媒体可能不完整或为多模态场景下的鲁棒性与可部署性。

提出的方法

• UNQA使用共享主干网络，并结合模态特定的特征提取模块：图像使用空间特征提取，视频使用运动特征提取，音频使用音频特征提取。
• 在空间特征提取器中引入多头自注意力机制，以突出感知显著区域。
• 提出一种新颖的多模态训练策略：先在各数据库特定的回归头上预训练特征提取器，再通过相对排序损失而非原始MOS值对完整模型进行微调。
• 通过四个专用回归头融合模态特定的特征，以预测每种模态或联合音视频的评分。
• 使用Grad-CAM可视化注意力图，表明UNQA聚焦于感知相关区域，如人物、文字和建筑结构。
• 在标准GPU上评估计算效率，结果表明UNQA的推理时间低于其他对比的深度学习模型。

实验结果

研究问题

• RQ1 单一统一模型是否能在音频、图像、视频及音视频内容上实现高质量的无参考评估？
• RQ2 在联合训练过程中，如何有效对齐多个QA数据库间差异性的感知质量量表？
• RQ3 在多种模态上联合训练是否能带来更鲁棒且泛化能力更强的质量感知表征？
• RQ4 统一模型是否能在降低模型复杂度的同时，超越针对特定模态的SOTA模型？

主要发现

• UNQA在所有四种模态上均达到SOTA性能，图像质量评估的斯皮尔曼等级相关系数（SRCC）为0.8037，视频为0.8901，音视频为0.8791，音频为0.7962。
• 在跨数据库评估中，UNQA在七个外部QA数据集上对20种SOTA方法表现出更优的泛化能力。
• UNQA展现出卓越的计算效率，在标准1080p、25fps视频上运行时间最短。
• 使用Grad-CAM的可视化分析证实，UNQA聚焦于人脸、文字和建筑物等感知显著区域，与人类感知一致。
• 多模态训练策略有效缓解了数据库间量表差异，且无需对MOS值进行重采样或重加权。
• UNQA将所需模型数量从每种模态一个减少为单一统一模型，显著提升了真实系统中的可部署性。