[论文解读] Visual Quality Assessment of Panoramic Video

Mai Xu, Chen Li+2 more|arXiv (Cornell University)|Sep 19, 2017

Image and Video Quality Assessment参考文献 22被引用 5

一句话总结

本文提出了一种新颖的主观与客观视觉质量评估（VQA）方法，用于全景视频，利用新数据库中获取的观看方向数据来建模人类感知。提出了 O-DMOS 和 V-DMOS 用于主观评估，并设计了两种基于空间距离至前向区域或预测观看方向来加权失真的客观 VQA 方法，显著提升了当前最先进性能。

ABSTRACT

In contrast with traditional video, omnidirectional video enables spherical viewing direction with support for head-mounted displays, providing an interactive and immersive experience. Unfortunately, to the best of our knowledge, there are few visual quality assessment (VQA) methods, either subjective or objective, for omnidirectional video coding. This paper proposes both subjective and objective methods for assessing quality loss in encoding omnidirectional video. Specifically, we first present a new database, which includes the viewing direction data from several subjects watching omnidirectional video sequences. Then, from our database, we find a high consistency in viewing directions across different subjects. The viewing directions are normally distributed in the center of the front regions, but they sometimes fall into other regions, related to video content. Given this finding, we present a subjective VQA method for measuring difference mean opinion score (DMOS) of the whole and regional omnidirectional video, in terms of overall DMOS (O-DMOS) and vectorized DMOS (V-DMOS), respectively. Moreover, we propose two objective VQA methods for encoded omnidirectional video, in light of human perception characteristics of omnidirectional video. One method weighs the distortion of pixels with regard to their distances to the center of front regions, which considers human preference in a panorama. The other method predicts viewing directions according to video content, and then the predicted viewing directions are leveraged to allocate weights to the distortion of each pixel in our objective VQA method. Finally, our experimental results verify that both the subjective and objective methods proposed in this paper advance state-of-the-art VQA for omnidirectional video.

研究动机与目标

• 为解决全景视频在主观与客观评估框架中缺乏全面视觉质量评估方法的问题。
• 通过收集并分析多个受试者在观看全景视频时的观看方向数据，研究全景视频中的人类观看行为。
• 开发主观质量评估度量标准——O-DMOS 与 V-DMOS，根据观看模式考虑整体与区域质量差异。
• 设计基于人类感知的客观 VQA 方法，通过根据全景图中空间相关性加权失真来反映人类视觉偏好。
• 将所提方法与当前最先进方法进行对比评估，验证其在质量预测准确性方面的优越性。

提出的方法

• 构建了一个新的主观 VQA 数据库，包含多个受试者在观看全景视频序列时的观看方向数据。
• 发现观看方向在前向区域呈正态分布，但随视频内容而异，为基于感知的度量设计提供了依据。
• 提出 O-DMOS 与 V-DMOS 作为主观质量度量：O-DMOS 用于整体质量，V-DMOS 用于基于观看方向聚类的区域质量。
• 开发一种客观 VQA 方法，根据像素失真与前向区域中心的距离分配权重，以反映人类视觉偏好。
• 设计第二种客观 VQA 方法，从视频内容中预测观看方向，并利用预测结果动态加权全景图中的失真。
• 通过建模球面视频中的空间注意力与视觉敏感性，将人类感知特征整合到两种客观方法中。

实验结果

研究问题

• RQ1 观看者在全景视频序列中的观看方向如何分布？不同受试者之间是否存在一致的分布模式？
• RQ2 观看方向数据在多大程度上能提升全景视频主观视觉质量评估的准确性？
• RQ3 如何更有效地对全景视频中的失真进行加权，以更真实地反映人类对质量的感知？
• RQ4 与固定空间加权相比，基于视频内容预测观看方向是否能提升客观 VQA 的性能？
• RQ5 所提出的主观与客观 VQA 方法是否在质量评估准确性方面优于现有最先进方法？

主要发现

• 受试者在观看方向上的分布高度一致，主要集中于前向区域，并围绕前向视图中心呈正态分布。
• 所提出的 O-DMOS 与 V-DMOS 度量能有效捕捉整体与区域质量差异，与人类感知具有强相关性。
• 基于前向区域中心距离加权失真的客观 VQA 方法，在质量预测准确性上优于基线方法。
• 内容感知型客观 VQA 方法通过预测观看方向并据此加权失真，相比固定加权方案表现出更优性能。
• 实验结果证实，所提出的主观与客观 VQA 方法在全景视频质量评估方面均达到了当前最先进水平。