[论文解读] The Effect of Distortions on the Prediction of Visual Attention

Milind S. Gide, Samuel Dodge+1 more|arXiv (Cornell University)|Apr 13, 2016

Visual Attention and Saliency Detection参考文献 13被引用 7

一句话总结

本文在失真图像上评估了20种最先进的视觉注意模型，引入了四种新的鲁棒性能度量——SNSS、SSKLD、SJSD 和 SEMD，以克服现有度量（如 SAUC）的局限性。研究发现，视觉注意模型性能通常在中等至高失真水平下提升，随图像复杂度增加而下降，其中 SJSD 在各类失真类型和水平下表现最为一致。

ABSTRACT

Existing saliency models have been designed and evaluated for predicting the saliency in distortion-free images. However, in practice, the image quality is affected by a host of factors at several stages of the image processing pipeline such as acquisition, compression and transmission. Several studies have explored the effect of distortion on human visual attention; however, none of them have considered the performance of visual saliency models in the presence of distortion. Furthermore, given that one potential application of visual saliency prediction is to aid pooling of objective visual quality metrics, it is important to compare the performance of existing saliency models on distorted images. In this paper, we evaluate several state-of-the-art visual attention models over different databases consisting of distorted images with various types of distortions such as blur, noise and compression with varying levels of distortion severity. This paper also introduces new improved performance evaluation metrics that are shown to overcome shortcomings in existing performance metrics. We find that the performance of most models improves with moderate and high levels of distortions as compared to the near distortion-free case. In addition, model performance is also found to decrease with an increase in image complexity.

研究动机与目标

• 评估最先进的视觉注意模型在失真图像上的表现，这些图像在以往研究中尚未得到系统评估。
• 识别现有视觉注意模型性能评估度量在失真条件下的不足之处，特别是针对失真情况。
• 提出并验证四种新度量——SNSS、SSKLD、SJSD 和 SEMD——这些度量对失真和图像复杂度更具鲁棒性。
• 分析不同失真类型（模糊、噪声、JPEG）及其严重程度对视觉注意模型性能的影响。
• 研究图像复杂度在不同失真条件下对视觉注意模型准确率的影响。

提出的方法

• 在两个数据库（TUD 和 Judd 低分辨率数据集）上评估了20种最先进的视觉注意模型，这两个数据库均包含失真图像的眼动追踪数据。
• 提出了四种新性能度量：SNSS（基于显著性的归一化扫描路径相似度）、SSKLD（基于显著性的对称Kullback-Leibler散度）、SJSD（基于显著性的Jensen-Shannon散度）和SEMD（基于显著性的Earth Mover's Distance），以提升对失真的鲁棒性。
• 使用打乱的注视点数据作为基线来计算度量，确保性能是相对于随机注视模式而非原始注视图进行衡量的。
• 将新度量与广泛使用的 SAUC（显著性AUC）进行比较，以验证其在不同数据集和失真条件下的稳定性和鲁棒性。
• 分析了模型在多种失真类型（模糊、噪声、JPEG）和失真水平，以及图像复杂度类别（简单、中等、困难）下的表现。
• 使用统计分析比较不同度量和数据集下模型的排名，强调其一致性和对失真的鲁棒性。

实验结果

研究问题

• RQ1 与无失真图像相比，现有视觉注意模型在失真图像上的表现如何？
• RQ2 在失真条件下评估视觉注意模型时，广泛使用的度量（如 SAUC）存在哪些关键缺陷？
• RQ3 所提出的度量（SNSS、SSKLD、SJSD、SEMD）是否在不同失真类型和水平下提供了比 SAUC 更一致和更鲁棒的性能排名？
• RQ4 图像复杂度如何影响失真条件下视觉注意模型的性能？
• RQ5 哪些失真水平和类型会导致视觉注意模型表现最好或最差？

主要发现

• 大多数视觉注意模型在中等至高失真水平的图像（如模糊、噪声、JPEG）上表现优于接近无失真的条件。
• 所提出的 SJSD 度量在所有失真类型和水平下表现出最一致和最鲁棒的性能，其稳定性优于 SAUC 和其他度量。
• 随着图像复杂度的增加，模型性能持续下降，因为更高的杂乱度使显著区域检测更加困难。
• SAUC 度量在不同数据集间排名不一致，且对失真不具鲁棒性，而新度量（尤其是 SJSD）提供了更稳定可靠的模型比较。
• SNSS 和 SEMD 在不同失真水平下无明显趋势，但 SSKLD 和 SJSD 在中等和高失真水平下表现出明显的性能提升。
• 所有模型的平均性能随图像复杂度增加而下降，如图14中黑色虚线（平均得分）在简单、中等和困难类别中的下降趋势所示。