[论文解读] Streaming Virtual Reality Content

Tarek El-Ganainy, Mohamed Hefeeda|arXiv (Cornell University)|Dec 26, 2016

Image and Video Quality Assessment参考文献 19被引用 45

一句话总结

本文全面综述了流媒体360度虚拟现实（VR）内容，聚焦于高效表示、分块（tiling）及质量评估。评估了等距圆柱投影与立方体贴图等投影方法，提出了自适应流媒体技术如分块流媒体与预测流媒体，并引入了用户体验质量（QoE）度量标准，包括加权S-PSNR与畸变感知模型，实现高达80%的带宽节省，同时感知质量损失极小。

ABSTRACT

The recent rise of interest in Virtual Reality (VR) came with the availability of commodity commercial VR prod- ucts, such as the Head Mounted Displays (HMD) created by Oculus and other vendors. To accelerate the user adoption of VR headsets, content providers should focus on producing high quality immersive content for these devices. Similarly, multimedia streaming service providers should enable the means to stream 360 VR content on their platforms. In this study, we try to cover different aspects related to VR content representation, streaming, and quality assessment that will help establishing the basic knowledge of how to build a VR streaming system.

研究动机与目标

• 为构建可扩展的VR流媒体系统奠定基础性知识。
• 通过优化内容表示与传输方式，解决高分辨率360°视频流媒体中的带宽低效问题。
• 评估并比较不同投影映射方式（等距圆柱投影、立方体贴图、分块）在VR内容中的表现。
• 开发并分析反映用户中心化观看行为的质量评估模型。
• 研究预测流媒体技术，以在带宽受限条件下减少缓冲并提升QoE。

提出的方法

• 评估等距圆柱投影与立方体贴图作为球形视频的标准映射方式，指出等距圆柱投影具有广泛兼容性，但存在较高的像素冗余。
• 分析分块策略，包括全量、动态、预测与金字塔分块，以优先保证用户视域区域的高质量流媒体传输。
• 提出基于头部运动轨迹与模型（平均法、线性回归）的预测流媒体技术，以预判视口变化并提前传输相关分块。
• 引入加权S-PSNR与零面积畸变投影用于客观质量评估，其结果与主观评估具有强相关性。
• 利用头部追踪数据模拟用户视口，并在不同投影方式与码率下计算平均与加权质量度量指标。
• 对比商业平台（YouTube、Facebook）发现，二者均使用H.264编码的MP4容器，其中YouTube采用等距圆柱投影，Facebook使用立方体贴图。

实验结果

研究问题

• RQ1 如何高效地将球形VR内容表示并投影到二维平面，以适配标准视频编码？
• RQ2 哪些分块与流媒体策略可在保持高感知质量的同时最小化带宽使用？
• RQ3 如何通过用户头部运动预测提升流媒体效率并减少VR应用中的缓冲？
• RQ4 哪些客观质量度量标准最能反映360°视频流媒体中的用户感知质量？
• RQ5 不同投影方式（等距圆柱投影 vs. 立方体贴图 vs. 分块）如何影响编码效率与用户体验？

主要发现

• 采用线性回归模型的预测流媒体在头部运动预测中达到90%的准确率，可有效预加载高质量分块。
• 通过预测与分块流媒体方法，带宽消耗最高降低80%，同时保持与全分辨率流媒体相当的QoE。
• 金字塔分块显著降低码率，同时保持感知质量，其QoE与全质量流媒体相当。
• 加权S-PSNR与畸变感知模型与主观质量评估结果高度相关，验证了其在客观评估中的有效性。
• 商业平台如YouTube与Facebook均使用H.264编码的MP4容器，其中YouTube偏好等距圆柱投影，Facebook采用立方体贴图投影。
• 采用动态或预测质量分配的分块流媒体在带宽效率与用户体验方面优于均匀流媒体。