[论文解读] Strategy for Boosting Pair Comparison and Improving Quality Assessment Accuracy

Suiyi Ling, Jing Li+4 more|arXiv (Cornell University)|Oct 1, 2020

Image and Video Quality Assessment参考文献 39被引用 6

一句话总结

本文提出了一种新颖的主动采样框架，通过融合绝对类别评分（ACR）与成对比较（PC）数据，在减少所需比较次数的同时提升质量评估的准确性。通过使用ACR数据进行初始化，并应用具有方差感知能力的Thurstone模型（Case III），该方法在计算成本更低的情况下，相比传统PC或单独使用ACR的方法，实现了更高的区分度。

ABSTRACT

The development of rigorous quality assessment model relies on the collection of reliable subjective data, where the perceived quality of visual multimedia is rated by the human observers. Different subjective assessment protocols can be used according to the objectives, which determine the discriminability and accuracy of the subjective data. Single stimulus methodology, e.g., the Absolute Category Rating (ACR) has been widely adopted due to its simplicity and efficiency. However, Pair Comparison (PC) is of significant advantage over ACR in terms of discriminability. In addition, PC avoids the influence of observers' bias regarding their understanding of the quality scale. Nevertheless, full pair comparison is much more time-consuming. In this study, we therefore 1) employ a generic model to bridge the pair comparison data and ACR data, where the variance term could be recovered and the obtained information is more complete; 2) propose a fusion strategy to boost pair comparisons by utilizing the ACR results as initialization information; 3) develop a novel active batch sampling strategy based on Minimum Spanning Tree (MST) for PC. In such a way, the proposed methodology could achieve the same accuracy of pair comparison but with the compelxity as low as ACR. Extensive experimental results demonstrate the efficiency and accuracy of the proposed approach, which outperforms the state of the art approaches.

研究动机与目标

• 通过结合ACR与PC方法论，解决主观质量评估中区分度与效率之间的权衡问题。
• 通过恢复标准模型中通常丢失的方差信息，提升成对比较数据转换的准确性。
• 通过ACR初始化的主动采样策略，减少所需成对比较的次数，降低人力成本而不牺牲性能。
• 为具有微小感知差异的高质量多媒体内容，构建更鲁棒、更准确的主观数据采集流程。

提出的方法

• 融合策略通过使用ACR结果初始化成对比较矩阵，将ACR与PC数据结合，实现更快收敛并减少试验次数。
• 对Thurstone模型Case III进行改进，以恢复刺激物的方差，保留标准模型中丢失的观察者偏差与不一致性信息。
• 提出一种新型的Hybrid-MST主动批量采样策略，利用最小生成树（MST）优先选择不确定性高或相似的成对比较，提升采样效率。
• 该框架采用贪心批量选择过程，结合ACR初始化与方差感知模型更新，指导采样过程。
• 基于期望改进的信息增益度量用于在每次迭代中选择最具信息量的成对比较。
• 该方法整合了一种广义矩估计优化方法，以实现Thurstone模型中参数估计的高效计算。

实验结果

研究问题

• RQ1 ACR数据能否被有效用于初始化并提升基于成对比较的质量评估性能？
• RQ2 在成对比较数据中恢复方差在多大程度上能提升质量评分估计的准确性？
• RQ3 基于MST的主动批量采样策略能否在保持高区分度的同时减少所需比较次数？
• RQ4 与最先进方法相比，所提出的融合框架在SROCC指标及与真实值的一致性方面表现如何？

主要发现

• 在Streaming视频数据集上，所提框架与真实值的一致比例达到最高（0.9883），优于TM（0.9848）与BT（0.9839）。
• 在Kaist数据集上，该方法在约10次试验后超越基线模型，使用ACR初始化时初始SROCC为0.908。
• 若不使用ACR初始化，所有数据集的初始SROCC值显著下降，前两次试验的SROCC范围为0.2至0.4。
• 与标准PC方法相比，ACR初始化使所需试验次数最多减少70%，同时保持或提升性能。
• 在所有四个真实世界数据集（Kaist、IVC、DIBR、Streaming）上，采用方差恢复的Hybrid-MST采样策略均取得了高于基线方法的SROCC值。
• 一致性测试结果表明，所提模型恢复的评分在所有数据集中与人类感知最为一致。