[论文解读] Perceptual Quality Assessment of Immersive Images Considering Peripheral Vision Impact

Peiyao Guo, Qiu Shen+3 more|arXiv (Cornell University)|Feb 25, 2018

Image and Video Quality Assessment参考文献 26被引用 11

一句话总结

本文提出了一种用于沉浸式VR图像的感知质量模型，通过建模图像质量退化与离心率、量化步长（q）和空间分辨率（s）的关系，考虑了周边视觉的敏感度。该模型采用广义高斯函数，实现了对中央视野、近周边视野和远周边视野区域的非均匀质量分配，使数据量减少高达90%，同时在实时百亿像素渲染中将图像渲染速度提升10倍，且未造成可察觉的质量损失。

ABSTRACT

Conventional images/videos are often rendered within the central vision area of the human visual system (HVS) with uniform quality. Recent virtual reality (VR) device with head mounted display (HMD) extends the field of view (FoV) significantly to include both central and peripheral vision areas. It exhibits the unequal image quality sensation among these areas because of the non-uniform distribution of photoreceptors on our retina. We propose to study the sensation impact on the image subjective quality with respect to the eccentric angle $θ$ across different vision areas. Often times, image quality is controlled by the quantization stepsize $q$ and spatial resolution $s$, separately and jointly. Therefore, the sensation impact can be understood by exploring the $q$ and/or $s$ in terms of the $θ$, resulting in self-adaptive analytical models that have shown quite impressive accuracy through independent cross validations. These models can further be applied to give different quality weights at different regions, so as to significantly reduce the transmission data size but without subjective quality loss. As demonstrated in a gigapixel imaging system, we have shown that the image rendering can be speed up about 10$ imes$ with the model guided unequal quality scales, in comparison to the the legacy scheme with uniform quality scales everywhere.

研究动机与目标

• 研究周边视觉在沉浸式VR环境中对主观图像质量的影响。
• 建模离心率（θ）对因视网膜光感受器分布不均导致的感知质量退化的影响。
• 开发一种闭式解析模型，量化分析量化步长（q）和空间分辨率（s）在不同视觉区域对感知质量的影响。
• 实现在沉浸式图像中非均匀质量分配，以减少数据量同时保持主观质量。
• 在实时百亿像素成像系统中验证该模型，并展示其在渲染速度方面的性能提升。

提出的方法

• 作者将感知质量建模为离心率（θ）、量化步长（q）和空间分辨率（s）的函数，采用统一的参数化广义高斯函数。
• 通过从内容中提取的图像特征估算参数，推导出解析模型，从而实现对不同视觉区域质量感知的预测。
• 利用主观质量评估对模型进行训练和交叉验证，确保其在预测人类感知方面的准确性。
• 在三个视觉区域（中央视野区CVA、近周边视野区NPA和远周边视野区FPA）之间应用非均匀质量缩放，其中CVA区域质量更高，周边区域质量降低。
• 通过调整各区域的q和s实现自适应比特分配，最小化数据量的同时保持感知质量。
• 在使用分块和非均匀质量分配的实时百亿像素成像系统中验证该方法，并与均匀质量基线进行渲染性能对比。

实验结果

研究问题

• RQ1 在沉浸式VR显示器中，图像质量感知在不同离心率区域（中央、近周边、远周边）如何变化？
• RQ2 量化步长（q）和空间分辨率（s）在不同离心率下的联合影响对感知图像质量有何作用？
• RQ3 是否能够通过q和s准确预测基于闭式解析模型的周边视野区域主观质量退化？
• RQ4 在不造成可察觉质量损失的前提下，对视觉区域实施非均匀质量分配能在多大程度上减少数据量？
• RQ5 在实时百亿像素成像系统中应用该模型后，渲染速度可提升多少？

主要发现

• 该模型通过独立交叉验证，在不同离心率区域预测主观图像质量方面表现出高精度。
• 在非均匀质量分配策略下，与均匀质量渲染相比，图像数据量平均减少高达90.18%。
• 在实时百亿像素成像系统中，使用该模型后渲染吞吐量提升了约10倍。
• 在内容平滑的场景（如天空）中观察到最大性能提升（最高达20倍加速），而在复杂纹理（如草地）中虽提升较小，但仍具有显著效果。
• 用户无法察觉周边区域中均匀质量与非均匀质量分配之间的差异，证实了该模型的感知有效性。
• 该模型性能具有内容依赖性，低空间变化性场景（低结构指数SI）中数据压缩率和加速比更高，而高复杂度纹理中增益较低。