[论文解读] Perceptual Evaluation on Audio-visual Dataset of 360 Content

Randy Frans Fela, Andréas Pastor+4 more|arXiv (Cornell University)|May 16, 2022

Image and Video Quality Assessment被引用 4

一句话总结

本论文提出了一种新颖的开源360°音视频数据集，包含8K等距圆柱投影视频和4阶Ambisonic音频，以及音频、视频和音视频测试的主观质量评分。该数据集支持对感知质量的稳健评估，结果表明VMAF 4K和ViSQOL aswb在与主观评分的相关性方面优于其他客观度量指标。

ABSTRACT

To open up new possibilities to assess the multimodal perceptual quality of omnidirectional media formats, we proposed a novel open source 360 audiovisual (AV) quality dataset. The dataset consists of high-quality 360 video clips in equirectangular (ERP) format and higher-order ambisonic (4th order) along with the subjective scores. Three subjective quality experiments were conducted for audio, video, and AV with the procedures detailed in this paper. Using the data from subjective tests, we demonstrated that this dataset can be used to quantify perceived audio, video, and audiovisual quality. The diversity and discriminability of subjective scores were also analyzed. Finally, we investigated how our dataset correlates with various objective quality metrics of audio and video. Evidence from the results of this study implies that the proposed dataset can benefit future studies on multimodal quality evaluation of 360 content.

研究动机与目标

• 为解决沉浸式360°音视频内容缺乏高质量、多模态、主观质量数据集的问题。
• 建立一个基准数据集，包含受控的、高保真度的360°视频和高阶Ambisonic音频录制。
• 评估音频、视频和音视频模态下主观质量评分的可区分性和可靠性。
• 评估现有客观质量度量指标在预测360°音视频内容人类感知方面的性能。
• 为未来开发多模态、感知准确的沉浸式媒体质量度量提供基础。

提出的方法

• 使用专业设备采集了12个高质量的360°视频和音频场景：采用Insta360 Pro2拍摄8K等距圆柱投影视频（7680×3840，30fps），使用em32 Eigenmike采集4阶Ambisonic（B格式，25通道）音频。
• 通过三种独立实验收集主观平均意见得分（MOS）：仅音频、仅视频和音视频，采用MUSHRA方法论。
• 通过将视频序列下采样至6144×3072并使用H.265/HEVC在不同比特率和QP值下编码，准备处理后的视频序列。
• 通过将原始32通道A格式音频下混音至4阶B格式（AmbiX），生成音频序列，保持24位、48kHz、每通道1152 kbps。
• 使用PLCC、SRCC、KRCC和AUC度量，将12种音频和12种视频客观质量度量（如ViSQOL、VMAF、PEAQ、PSNR）与主观DMOS得分进行对比评估。
• 对主观评分进行统计分析，包括总体均值-置信区间（CI）、主观评分敏感度（SOS）以及评估者人数对准确性的影响。

实验结果

研究问题

• RQ1 不同的编码参数如何影响360°音视频内容的感知音视频质量？
• RQ2 音频、视频和音视频模态下主观质量评分的可区分性和可靠性如何？
• RQ3 评估者人数在多大程度上影响主观质量评分的准确性和稳定性？
• RQ4 哪些客观质量度量指标与360°音频和视频的主观平均意见得分具有最强相关性？
• RQ5 该数据集在多大程度上支持新型多模态感知质量模型在沉浸式内容中的开发？

主要发现

• 所提出的数据集表现出较强的可区分性，视频实验的评分方差最大，音视频实验的主观评分最一致。
• 主观评分在12名评估者后达到低置信区间（CI）和稳定趋势，支持每项任务使用20名评估者以获得可靠结果。
• 数据集的音频部分获得了与其它基于MUSHRA的研究相当的alpha值，表明其在感知评估中具有良好的可靠性。
• 在音频度量中，ViSQOL aswb的PLCC（0.924）、SRCC（0.938）和AUC（0.995）最高，优于PEAQ和ViSQOL wb。
• 在视频方面，VMAF 4K表现最佳，PLCC为0.919，SRCC为0.957，AUC为0.989，显著优于PSNR、SSIM和VMAF HD。
• S-PSNR、WS-PSNR和CPP-PSNR等度量在应用于360°视频时，相较于其2D对应度量并无感知优势，表明其在等距圆柱投影内容中相关性有限。