[论文解读] Spatiotemporal Rate Adaptive Tiled Scheme for 360 Sports Events

Tarek El-Ganainy|arXiv (Cornell University)|May 14, 2017

Image and Video Quality Assessment参考文献 12被引用 5

一句话总结

本文提出了一种用于360度体育视频的时空比特率自适应分块流媒体方案，采用一种新颖的$tiled\_cubemap$分块方法，与偏移立方体贴图相比，可将服务器存储需求降低高达670%，同时保持或提升主观视频质量。该方法根据用户带宽和观看方向动态分配各分块的质量等级，实现从视场到周边区域的平滑质量下降。

ABSTRACT

The recent rise of interest in Virtual Reality (VR) came with the availability of commodity commercial VR products, such as the Head Mounted Displays (HMD) created by Oculus and other vendors. One of the main applications of virtual reality that has been recently adopted is streaming sports events. For instance, the last olympics held in Rio De Janeiro was streamed over the Internet for users to view on VR headsets or using 360 video players. A big challenge for streaming VR sports events is the users limited bandwidth and the amount of data required to transmit 360 videos. While 360 video demands high bandwidth, at any time instant users are only viewing a small portion of the video according to the HMD field of view (FOV). Many approaches have been proposed in the literature such as proposing new representations (e.g. pyramid and offset-cubemap) and tiling the video and streaming the tiles currently being viewed. In this paper, we propose a tiled streaming framework, where we provide a degrading quality model similar to the state-of-the-art offset-cubemap while minimizing its storage requirements at the server side. We conduct objective studies showing the effectiveness of our approach providing smooth degradation of quality from the user FOV to the back of the 360 space. In addition, we conduct subjective studies showing that users tend to prefer our proposed scheme over offset-cubemap in low bandwidth connections, and they don't feel difference for higher bandwidth connections. That is, we achieve better perceived quality with huge storage savings up to 670%.

研究动机与目标

• 解决体育赛事360度视频流媒体带来的高带宽和高存储需求问题。
• 在带宽受限条件下，降低服务器端存储开销，同时保持较高的主观视频质量。
• 开发一种分块与比特率自适应框架，支持根据用户视点和网络状况实现各分块间的平滑质量过渡。
• 在客观与主观质量评估中，将所提方法与最先进的偏移立方体贴图方法进行对比评估。

提出的方法

• 提出一种新颖的$tiled\_cubemap$分块方案，将360度视频通过立方体贴图投影划分为多个分块，专为具有高动态和方向性焦点的体育赛事内容进行优化。
• 采用基于质量的比特率自适应模型，而非传统的QP模型，实现对分块质量等级的更细粒度控制。
• 设计一种时空比特率自适应算法，根据可用带宽，为用户当前视场内的分块分配更高质量，并逐步降低周边区域分块的质量。
• 通过10名参与者的双刺激主观测试（DSCQS），在不同带宽条件下对比$tiled\_cubemap$与偏移立方体贴图的主观质量表现。
• 通过仅对每个质量等级存储一次分块（三个带宽配置共六次存储），相比偏移立方体贴图需为相同设置存储90个版本，显著降低存储需求。
• 采用PSNR和SSIM等客观质量指标，对不同网络条件下的性能进行验证。

实验结果

研究问题

• RQ1 基于分块立方体贴图的分块方案是否能在保持高主观视频质量的同时，降低360度视频流媒体的服务器存储需求？
• RQ2 与QP模型相比，所提出的时空比特率自适应算法在客观视频质量指标上的表现如何？
• RQ3 在低带宽条件下，$tiled\_cubemap$方法是否能提供优于或相当的主观质量表现，相比最先进的偏移立方体贴图？
• RQ4 所提方法在不牺牲用户体验的前提下，能在多大程度上减少360度体育视频流媒体中的存储开销？

主要发现

• $tiled\_cubemap$方法相比偏移立方体贴图，将服务器存储需求最高降低了670%，后者需为三个带宽配置和30个视口存储90个独立编码版本。
• 主观测试显示，在低带宽条件下，$tiled\_cubemap$的平均意见得分差值（DMOS）优于偏移立方体贴图，表明用户更偏好所提方法。
• 在高带宽条件下，$tiled\_cubemap$与偏移立方体贴图之间未观察到主观质量的显著差异，表明在最优条件下用户体验相当。
• 客观评估结果证实，基于质量的比特率自适应模型在所有网络条件下均优于传统的QP模型，PSNR和SSIM指标表现更优。
• 该方法支持基于内容或观看历史的灵活分块优先级排序，增强了对动态用户行为的适应能力。
• 所提框架支持从用户视场到周边区域的平滑质量下降，相比均匀或突兀的质量过渡，能有效减少视觉伪影。