[论文解读] Prediction of Satisfied User Ratio for Compressed Video

Haiqiang Wang, Ioannis Katsavounidis+3 more|arXiv (Cornell University)|Oct 30, 2017

Image and Video Quality Assessment参考文献 11被引用 3

一句话总结

本文提出一种机器学习框架，利用局部VMAF质量得分、全局聚合、掩蔽效应和支持向量回归（SVR）来预测H.264压缩视频的满意用户比率（SUR）曲线。该方法实现了较低的预测误差（MAE = 0.038），并在估计首个JND点方面表现出高精度，720p分辨率视频的平均绝对误差为1.273 QP。

ABSTRACT

A large-scale video quality dataset called the VideoSet has been constructed recently to measure human subjective experience of H.264 coded video in terms of the just-noticeable-difference (JND). It measures the first three JND points of 5-second video of resolution 1080p, 720p, 540p and 360p. Based on the VideoSet, we propose a method to predict the satisfied-user-ratio (SUR) curves using a machine learning framework. First, we partition a video clip into local spatial-temporal segments and evaluate the quality of each segment using the VMAF quality index. Then, we aggregate these local VMAF measures to derive a global one. Finally, the masking effect is incorporated and the support vector regression (SVR) is used to predict the SUR curves, from which the JND points can be derived. Experimental results are given to demonstrate the performance of the proposed SUR prediction method.

研究动机与目标

• 使用机器学习方法预测H.264编码视频片段的满意用户比率（SUR）曲线。
• 通过建模用户满意度而非直接预测JND，改进JND点的估计。
• 将局部质量退化和时空掩蔽效应纳入预测框架。
• 利用大规模VideoSet数据集训练和验证SUR预测模型。
• 从预测的SUR曲线中准确推导JND点，以支持视频质量评估。

提出的方法

• 使用固定窗口尺寸（W×H）将每个视频片段划分为局部时空段，以进行时间和空间分析。
• 计算每个段的VMAF质量指数，以评估局部质量退化。
• 通过20个质量等级的累积分布，将局部VMAF得分聚合为全局质量退化特征向量。
• 利用参考视频中的空间随机性（SR）和时间随机性（TR）提取掩蔽特征，形成20维直方图特征向量。
• 将20维质量退化特征向量与20维掩蔽特征向量拼接，形成40维输入特征向量。
• 使用径向基函数核和ε-不敏感损失训练支持向量回归器（SVR），从40维特征向量预测SUR曲线。

实验结果

研究问题

• RQ1 机器学习框架能否准确预测H.264压缩视频的满意用户比率（SUR）曲线？
• RQ2 将局部质量退化和掩蔽效应纳入后，SUR预测性能是否得到提升？
• RQ3 从预测的SUR曲线中，第一个JND点能多大程度上被准确推导？
• RQ4 预测精度在不同视频分辨率（1080p、720p、540p、360p）下如何变化？
• RQ5 固定时空段参数对预测误差有何影响，尤其是在低分辨率下？

主要发现

• 所提出的SUR预测方法在720p视频片段的SUR曲线上实现了0.038的平均绝对误差（MAE）。
• 720p分辨率下，第一个JND点的预测误差平均为1.273 QP，表明JND估计具有高精度。
• 在较低分辨率下，预测性能略有下降，360p的QP误差为1.605，可能由于固定段窗口尺寸所致。
• 预测的SUR曲线与真实值高度相关，如JND预测值与真实值散点图中点紧密分布在45度线附近所示。
• 累积质量退化曲线特征向量有效捕捉了不同QP水平下的感知质量变化。
• 基于空间和时间随机性的掩蔽特征的引入，提升了模型在复杂视觉内容下预测用户满意度的能力。