[论文解读] Saliency Benchmarking: Separating Models, Maps and Metrics

Matthias Kümmerer, Thomas S. A. Wallis+1 more|arXiv (Cornell University)|Apr 27, 2017

Multi-Criteria Decision Making被引用 7

一句话总结

本文提出了一套原则化的基准测试框架，将显著性模型与显著性图分离，将模型定义为概率性注视密度预测器，将图定义为针对特定度量优化的预测结果。通过为AUC、sAUC、NSS、CC、SIM和KL-Div等度量解析推导出最优图，该方法确保了在不同度量下模型排名的一致性，并消除了在多个评估标准下使用单一图所带来的权衡问题。

ABSTRACT

The field of fixation prediction is heavily model-driven, with dozens of new models published every year. However, progress in the field can be difficult to judge because models are compared using a variety of inconsistent metrics. As soon as a saliency map is optimized for a certain metric, it is penalized by other metrics. Here we propose a principled approach to solve the benchmarking problem: we separate the notions of saliency models and saliency maps. We define a saliency model to be a probabilistic model of fixation density prediction and, inspired by Bayesian decision theory, a saliency map to be a metric-specific prediction derived from the model density which maximizes the expected performance on that metric. We derive the optimal saliency map for the most commonly used saliency metrics (AUC, sAUC, NSS, CC, SIM, KL-Div) and show that they can be computed analytically or approximated with high precision using the model density. We show that this leads to consistent rankings in all metrics and avoids the penalties of using one saliency map for all metrics. Under this framework, good models will perform well in all metrics.

研究动机与目标

• 解决因在多个冲突度量下使用单一显著性图而导致的显著性模型评估不一致问题。
• 克服优化某一特定度量会损害其他度量性能的根本性问题，从而避免产生误导的模型排名。
• 建立一个基于贝叶斯决策理论的系统性框架，将模型学习与针对特定度量的图生成相分离。
• 通过使图生成与每个度量的目标对齐，确保高性能模型在所有标准度量中均能保持一致的高排名。
• 提供一个统一且理论基础坚实的基准测试系统，实现显著性模型之间公平可靠的比较。

提出的方法

• 将显著性模型定义为注视位置上的概率密度函数，表示模型对注视可能发生位置的信念。
• 将显著性图定义为从模型密度导出的确定性预测，特别针对特定度量进行优化以最大化预期性能。
• 应用贝叶斯决策理论，通过求解使预期度 measure 得分最大化的图，推导出每种度量（如AUC、sAUC、NSS、CC、SIM、KL-Div）的最优显著性图。
• 为AUC和NSS等常见度量推导出最优图的解析解，并对KL-Div等其他度量采用数值近似方法。
• 确保推导出的图与模型的底层密度保持一致，既保留了模型保真度，又使输出针对度量目标进行了定制化调整。
• 通过验证发现，当使用针对特定度量的图时，模型在所有度量下的排名保持一致，消除了不同评估标准之间的性能权衡。

实验结果

研究问题

• RQ1 如何消除在多个评估度量下使用单一显著性图所导致的显著性模型基准测试不一致问题？
• RQ2 在固定显著性模型的前提下，针对主要度量（如AUC、NSS、CC）的理论上最优显著性图是什么？
• RQ3 能否基于模型密度，为不同度量推导出解析解或高精度近似解的最优图？
• RQ4 将模型学习与图生成分离，是否能实现所有度量下一致的模型排名？
• RQ5 该框架能否防止因图仅针对某一特定度量优化，而在其他度量上遭受性能下降的问题？

主要发现

• 所提出的框架成功地将显著性模型与显著性图解耦，使每张图可独立针对其目标度量进行优化。
• 为AUC、sAUC、NSS、CC和SIM等度量推导出了最优图的解析解，实现了无需近似的精确计算。
• 针对KL散度，开发了一种高精度的数值近似方法，用于从模型密度计算最优图。
• 当使用针对特定度量的图时，模型在所有度量下的排名保持一致，消除了不同竞争评估标准之间的权衡。
• 在该框架下表现优异的模型在所有度量中均能获得高分，验证了该方法的公平性与可靠性。
• 该框架通过确保模型性能不会因度量不一致的图生成而被人为惩罚，实现了更公平、更可靠的基准测试。