[论文解读] No-Reference Quality Assessment for 360-degree Images by Analysis of Multi-frequency Information and Local-global Naturalness

Wei Zhou, Jiahua Xu+2 more|arXiv (Cornell University)|Feb 22, 2021

Image and Video Quality Assessment参考文献 55被引用 6

一句话总结

该论文提出MFILGN，一种用于360度图像的无参考质量评估方法，通过离散哈尔小波变换结合视口和等距圆柱投影的局部-全局自然性特征，实现多频信息融合。在两个公开数据库上评估，MFILGN达到最先进性能，SROCC最高达0.9751，RMSE低至1.3864，优于现有全参考和无参考方法。

ABSTRACT

360-degree/omnidirectional images (OIs) have achieved remarkable attentions due to the increasing applications of virtual reality (VR). Compared to conventional 2D images, OIs can provide more immersive experience to consumers, benefitting from the higher resolution and plentiful field of views (FoVs). Moreover, observing OIs is usually in the head mounted display (HMD) without references. Therefore, an efficient blind quality assessment method, which is specifically designed for 360-degree images, is urgently desired. In this paper, motivated by the characteristics of the human visual system (HVS) and the viewing process of VR visual contents, we propose a novel and effective no-reference omnidirectional image quality assessment (NR OIQA) algorithm by Multi-Frequency Information and Local-Global Naturalness (MFILGN). Specifically, inspired by the frequency-dependent property of visual cortex, we first decompose the projected equirectangular projection (ERP) maps into wavelet subbands. Then, the entropy intensities of low and high frequency subbands are exploited to measure the multi-frequency information of OIs. Besides, except for considering the global naturalness of ERP maps, owing to the browsed FoVs, we extract the natural scene statistics features from each viewport image as the measure of local naturalness. With the proposed multi-frequency information measurement and local-global naturalness measurement, we utilize support vector regression as the final image quality regressor to train the quality evaluation model from visual quality-related features to human ratings. To our knowledge, the proposed model is the first no-reference quality assessment method for 360-degreee images that combines multi-frequency information and image naturalness. Experimental results on two publicly available OIQA databases demonstrate that our proposed MFILGN outperforms state-of-the-art approaches.

研究动机与目标

• 为虚拟现实应用中360度图像缺乏有效的无参考质量评估方法提供解决方案。
• 开发一种盲质量评估模型，反映人类视觉系统（HVS）特性及头戴式显示器（HMDs）中的典型观看行为。
• 通过整合来自全局和局部（视口级）视角的多频信息与自然场景统计（NSS）特征，提升质量预测精度。
• 验证所提模型在不同失真类型和数据库上的泛化能力。
• 为未来参数化模型的建立及扩展至全向视频质量评估奠定基础。

提出的方法

• 该方法利用离散哈尔小波变换（DHWT）将360度图像的等距圆柱投影（ERP）图分解为低频和高频子带。
• 计算小波子带的熵强度，以量化多频信息，反映人类视觉皮层对频率的敏感性。
• 利用自然场景统计（NSS）从多个视口提取局部自然性特征，模拟HMD交互过程中用户的实际视场。
• 从完整ERP图计算全局自然性特征，以捕捉整体图像结构和统计特性。
• 将多频特征与局部-全局自然性特征融合，并输入支持向量回归（SVR）模型以预测主观质量评分。
• 模型使用公开OIQA数据库中的人工意见评分（MOS）进行训练，并通过跨数据库测试和显著性统计分析进行验证。

实验结果

研究问题

• RQ1 如何有效测量360度图像中的多频信息，以反映感知质量？
• RQ2 局部（视口级）和全局（ERP级）自然性特征在无参考质量评估中的贡献程度如何？
• RQ3 多频信息与局部-全局自然性特征的融合是否能超越现有无参考和全参考IQA方法在360度图像上的表现？
• RQ4 所提出的MFILGN模型在不同失真类型和数据库上的泛化能力如何？
• RQ5 该方法在多次随机数据库划分中是否表现出一致且稳健的性能？

主要发现

• 在OIQA数据库上，MFILGN实现斯皮尔曼等级相关系数（SROCC）0.9751和均方根误差（RMSE）1.3864，优于最先进方法。
• 在CVIQD数据库上，MFILGN实现SROCC 0.9695和RMSE 3.1036，表明其在质量预测中具有高精度。
• 在OIQA数据库上，引入多频信息使SROCC从0.9495提升至0.9614，证实其作为补充特征的有效性。
• 仅使用局部自然性特征时，各组件中表现最佳，凸显视口级观看行为在质量评估中的重要性。
• 在1,000次随机数据库划分的统计分析中，MFILGN的平均SROCC和PLCC值更高，标准差更低，优于BRISQUE和BMPRI，表明其具有更优的一致性。
• 在跨数据库测试中，当在CVIQD上训练时，MFILGN在OIQA数据库上泛化良好，实现SROCC 0.7589和RMSE 1.3864，优于MC360IQA基线方法。