[论文解读] Perceived Audiovisual Quality Modelling based on Decison Trees, Genetic Programming and Neural Networks

Edip Demirbilek, Jean‐Charles Grégoire|arXiv (Cornell University)|Dec 6, 2017

Image and Video Quality Assessment参考文献 21被引用 3

一句话总结

本文提出使用机器学习模型——具体为随机森林、袋装法、深度学习和遗传编程——直接从实时多媒体数据集中提取的比特流特征预测音视频质量。基于包含125个相关特征的INRS音视频质量数据集，随机森林和袋装法在准确度上表现最佳（RMSE最低，皮尔逊相关系数最高），优于深度学习和遗传编程模型，后者在更少特征下即可达到峰值性能。

ABSTRACT

Our objective is to build machine learning based models that predict audiovisual quality directly from a set of correlated parameters that are extracted from a target quality dataset. We have used the bitstream version of the INRS audiovisual quality dataset that reflects contemporary real-time configurations for video frame rate, video quantization, noise reduction parameters and network packet loss rate. We have utilized this dataset to build bitstream perceived quality estimation models based on the Random Forests, Bagging, Deep Learning and Genetic Programming methods. We have taken an empirical approach and have generated models varying from very simple to the most complex depending on the number of features used from the quality dataset. Random Forests and Bagging models have overall generated the most accurate results in terms of RMSE and Pearson correlation coefficient values. Deep Learning and Genetic Programming based bitstream models have also achieved good results but that high performance was observed only with a limited range of features. We have also obtained the epsilon-insensitive RMSE values for each model and have computed the significance of the difference between the correlation coefficients. Overall we conclude that computing the bitstream information is worth the effort it takes to generate and helps to build more accurate models for real-time communications. However, it is useful only for the deployment of the right algorithms with the carefully selected subset of the features. The dataset and tools that have been developed during this research are publicly available for research and development purposes.

研究动机与目标

• 开发能够直接从比特流参数预测感知音视频质量的机器学习模型，而无需中间质量函数。
• 评估多种机器学习算法（随机森林、袋装法、深度学习和遗传编程）在实时多媒体质量数据集上的性能表现。
• 确定能最大化实时通信系统预测准确率的比特流特征最优子集。
• 评估模型复杂度、训练成本与预测准确率之间的权衡关系。
• 将数据集和工具公开，以供未来在体验质量（QoE）建模领域的研究与开发使用。

提出的方法

• 构建了INRS音视频质量数据集的比特流版本，包含125个特征，这些特征源自媒体和网络参数，如视频帧率、量化参数、降噪处理和丢包率。
• 使用留一法交叉验证结合随机森林模型对特征重要性进行排序，并为每种算法生成125个逐步增加的模型（从1个到125个特征）。
• 在相同数据集上训练并评估四种机器学习模型：随机森林、袋装法、深度学习和遗传编程，使用逐步增加的特征子集。
• 通过RMSE、皮尔逊相关系数和epsilon-不敏感RMSE（RMSE*）来衡量模型性能，以评估差异的稳健性与显著性。
• 对相关系数差异应用Fisher-z变换，以检验不同模型之间相关系数差异的统计显著性。
• 基于性能趋势与计算成本选择最优特征子集，强调模型效率与准确率之间的权衡。

实验结果

研究问题

• RQ1 哪种机器学习算法在从比特流特征预测音视频质量方面达到最高准确率？
• RQ2 模型性能如何随输入特征数量变化？每种算法的最优特征子集大小是多少？
• RQ3 不同算法之间，模型复杂度、训练时间与预测准确率之间的权衡关系如何？
• RQ4 RMSE、相关系数和RMSE*等性能指标在随机森林、袋装法、深度学习和遗传编程之间如何比较？
• RQ5 在实时通信系统中，计算比特流信息在多大程度上能提升感知质量模型的准确性？

主要发现

• 随机森林和袋装法模型整体表现最佳，所有特征数量下均实现了最低的RMSE和最高的皮尔逊相关系数。
• 深度学习和遗传编程模型仅在前7个特征时即达到性能峰值，表明其对特征选择高度敏感。
• 基于随机森林的模型优于所有其他模型，尤其在使用前20个特征时表现更优，且显著减少了调参与训练时间。
• 遗传编程模型计算资源消耗最大，训练时间最长，且需大量超参数调优，但性能却最低。
• RMSE*值表明，当特征数量超过两个后，模型性能差异变得更加显著，说明特征丰富度具有实际价值。
• 本研究证实，提取比特流特征对于提升模型准确率具有实际意义，但仅当搭配合适的算法并精心选择特征子集时才有效。