[论文解读] Perceptual Quality of Video with Periodic Frame Rate and Quantization Variation-Subjective Studies and Analytical Modeling

Yen-Fu Ou, Wenzhi Lin+2 more|arXiv (Cornell University)|Jun 8, 2014

Image and Video Quality Assessment参考文献 7被引用 3

一句话总结

本文提出针对具有周期性帧率（FR）和量化步长（QS）变化的视频的感知质量模型，基于主观测试与最小二乘拟合，推导出简单的解析模型（FR对应QTV，QS对应QQV）。主要发现表明，当 $t_h/t_l > 2$ 时，FR变化引起的质量退化趋于饱和；QS变化在 $q_h/q_l$ 较高时导致更严重的退化，且变化频率越慢，感知质量损失越小。

ABSTRACT

In networked video applications, the frame rate (FR) and quantization stepsize (QS) of a compressed video are often adapted in response to the changes of the available bandwidth. It is important to understand how do the variation of FR and QS and their variation pattern affect the video quality. In this paper, we investigate the impact of temporal variation of FR and QS on the perceptual video quality. Among all possible variation patterns, we focus on videos in which two FR's (or QS's) alternate over a fixed interval. We explore the human responses to such variation by conducting subjective evaluation of test videos with different variation magnitudes and frequencies. We further analyze statistical significance of the impact of variation magnitude, variation frequency, video content, and their interactions. By analyzing the subjective ratings, we propose two models for predicting the quality of video with alternating FR and QS, respectively, The proposed models have simple mathematical forms with a few content-dependent parameters. The models fit the measured data very well using parameters determined by least square fitting with the measured data. We further propose some guidelines for adaptation of FR and QS based on trends observed from subjective test results.

研究动机与目标

• 理解帧率与量化步长的周期性时间变化对感知视频质量的影响。
• 开发基于变化幅度与频率的解析模型，以预测感知质量。
• 为动态网络环境中码率自适应提供设计指导。
• 在相同比特率波动条件下，比较FR与QS变化的感知影响。
• 利用主观测试数据识别内容相关的参数以实现质量预测。

提出的方法

• 通过在固定间隔（Fz）内交替使用帧率（$t_l$, $t_h$）和量化步长（$q_l$, $q_h$）的测试视频，开展主观质量评估。
• 使用方差分析（ANOVA）评估变化幅度、频率、视频内容及其交互作用的统计显著性。
• 提出FR变化的QTV模型，其中质量被建模为恒定帧率质量与仅依赖于 $t_l/t_h$ 的退化项的乘积。
• 开发QS变化的QQV模型，类似地将恒定QS质量与基于 $q_l/q_h$ 的退化因子结合。
• 利用主观测试中平均意见得分（MOS）的最小二乘回归拟合模型参数。
• 通过多组测试序列验证模型，并讨论从视频内容中预测参数的方法，以支持未来扩展。

实验结果

研究问题

• RQ1 周期性帧率变化如何影响感知视频质量？变化幅度与频率起什么作用？
• RQ2 周期性量化步长变化如何影响感知质量？与恒定QS相比有何差异？
• RQ3 在相同平均比特率下，变化帧率与变化量化步长的相对感知影响如何？
• RQ4 周期性FR或QS变化引起的质量退化是否在高变化比率下趋于饱和？若是，饱和点在何处？
• RQ5 视频内容特性如何影响对FR与QS变化的敏感度？

主要发现

• 当比率 $t_h/t_l > 2$ 时，周期性帧率变化引起的质量退化趋于饱和，表明在此阈值以上收益递减。
• 对于量化步长变化，当 $q_h/q_l$ 较高且 $q_l$ 较低时退化最严重，且当 $q_l/q_h < 0.4$ 时改善趋于饱和。
• 较慢的变化频率（更长的Fz）相对于恒定QS导致更少的质量衰减，但此效应在相同条件下未在FR变化中观察到。
• 在相同平均QS下，恒定QS的视频在感知上优于可变QS的视频，表明变化本身会降低质量。
• 当高码率点允许高质量编码时，无论视频运动内容如何，QS自适应在感知上优于FR自适应。
• 所提出的QTV与QQV模型仅通过少量基于内容的参数，并利用最小二乘拟合，即可良好拟合主观测试数据。