[论文解读] Saliency Prediction in the Deep Learning Era: Successes, Limitations, and Future Challenges

Ali Borji|arXiv (Cornell University)|Oct 8, 2018

Visual Attention and Saliency Detection参考文献 143被引用 24

一句话总结

本文综述了基于深度学习的视觉显著性模型，分析其成功之处、局限性以及未来挑战。在大规模图像和视频基准上评估了多种静态与动态显著性模型，识别出关键的失败模式、评估陷阱，并通过更优数据、多模态输入和精细化评估指标，提出改进机会，尽管在某些情况下性能已接近人类水平。

ABSTRACT

Visual saliency models have enjoyed a big leap in performance in recent years, thanks to advances in deep learning and large scale annotated data. Despite enormous effort and huge breakthroughs, however, models still fall short in reaching human-level accuracy. In this work, I explore the landscape of the field emphasizing on new deep saliency models, benchmarks, and datasets. A large number of image and video saliency models are reviewed and compared over two image benchmarks and two large scale video datasets. Further, I identify factors that contribute to the gap between models and humans and discuss remaining issues that need to be addressed to build the next generation of more powerful saliency models. Some specific questions that are addressed include: in what ways current models fail, how to remedy them, what can be learned from cognitive studies of attention, how explicit saliency judgments relate to fixations, how to conduct fair model comparison, and what are the emerging applications of saliency models.

研究动机与目标

• 评估在深度学习近期进展和大规模标注数据背景下，当前深度视觉显著性模型的现状。
• 识别尽管在标准基准上表现优异，但模型预测与人类注视模式之间仍存在的持久差距。
• 评估现有显著性评估指标的有效性，并提出改进方案以实现更精细的模型比较。
• 探索多模态数据（如音频、注视方向）和改进数据集如何提升模型泛化能力和性能。
• 通过识别可解释性、评估和显著性模型应用方面的开放挑战，为未来研究提供指导。

提出的方法

• 在两个图像基准和两个大规模视频数据集上，系统性地回顾并定量比较多种深度显著性模型。
• 使用多种评估指标（如AUC、NSS、SIM、KL、IG）评估模型性能，并检测细微差异。
• 通过心理物理学刺激（如突显阵列和异常场景）分析模型失败原因，以探究注意力机制。
• 研究中心偏差和图映射平滑对评估指标的影响，提出调整方案以降低敏感性。
• 通过整合注视方向、音频和字幕数据，探索多任务和多模态学习在显著性模型中的应用。
• 比较深度显著性模型与物体识别网络中学习到的表征，以理解显著性特定的特征学习机制。

实验结果

研究问题

• RQ1 尽管在标准基准上性能优异，当前深度显著性模型在哪些方面仍无法准确预测人类注视？
• RQ2 如何优化评估流程，以更好地区分高性能显著性模型并检测其细微性能差异？
• RQ3 显式显著性判断（如点击数据）与实际眼动轨迹在多大程度上一致？这如何指导模型训练？
• RQ4 多模态数据（如音频、注视方向、字幕）在仅依赖视觉输入之外，如何提升显著性预测性能？
• RQ5 如何提升显著性模型的可解释性，并使其更符合注意力的认知原则？

主要发现

• 深度显著性模型在标准基准上已达到接近人类观察者间一致性的性能，部分模型与人类注视图几乎无法区分。
• 尽管性能优异，模型在复杂或模糊场景中仍表现逊于人类，特别是在注意力由语义或上下文线索驱动时。
• AUC、NSS和SIM等评估指标最具代表性，但对图映射平滑和中心偏差的敏感性仍是公平比较中的关键问题。
• 整合注视方向或音频线索可显著提升视频显著性预测性能，表明任务相关先验信息具有重要价值。
• 多标签和多模态数据集（如结合注视点、字幕和VQA标注）可增强模型泛化能力，并揭示注意力机制的深层洞察。
• 深度网络中显著性如何产生的可解释性仍严重缺乏，理解不同网络头的特征表征仍是关键开放挑战。