[论文解读] OpenSalicon: An Open Source Implementation of the Salicon Saliency Model

Christopher Thomas|arXiv (Cornell University)|Jun 1, 2016

Visual Attention and Saliency Detection参考文献 4被引用 25

一句话总结

本文提出了 OpenSalicon，一个基于 Caffe 框架的 SALICON 显著性模型开源实现，使研究人员能够在其自定义数据集上进行训练和测试。该实现使用预训练模型在 MIT 300 基准测试中复现了原始模型的性能，并支持多尺度输入处理以及自定义上采样和数据输入层的训练与推理。

ABSTRACT

In this technical report, we present our publicly downloadable implementation of the SALICON saliency model. At the time of this writing, SALICON is one of the top performing saliency models on the MIT 300 fixation prediction dataset which evaluates how well an algorithm is able to predict where humans would look in a given image. Recently, numerous models have achieved state-of-the-art performance on this benchmark, but none of the top 5 performing models (including SALICON) are available for download. To address this issue, we have created a publicly downloadable implementation of the SALICON model. It is our hope that our model will engender further research in visual attention modeling by providing a baseline for comparison of other algorithms and a platform for extending this implementation. The model we provide supports both training and testing, enabling researchers to quickly fine-tune the model on their own dataset. We also provide a pre-trained model and code for those users who only need to generate saliency maps for images without training their own model.

研究动机与目标

• 为解决如 SALICON 这类高性能显著性模型缺乏公开可用实现的问题，尽管其在基准测试中表现优异，但相关代码无法下载。
• 提供一个功能完整、开源的 SALICON 模型实现，作为视觉注意建模研究的基线。
• 使研究人员能够使用预训练的 VGG-16 权重，通过迁移学习在自有数据集上对模型进行微调。
• 支持清晰配置文件和自定义数据输入层与上采样层的训练与推理工作流。
• 通过尽可能精确复现原始模型的架构和训练过程（包括单张图像梯度计算），确保实验可复现性。

提出的方法

• 该模型使用两个并行的 VGG-16 网络，分别以粗略和精细的空间尺度处理同一张图像，输入图像被缩放为 600×800 和 1200×1600，以匹配原始论文的输出尺寸。
• 自定义的 'CustomData' 层支持从 Python 直接输入多尺度图像数据，绕过 Caffe 的默认数据层，并支持灵活的输入尺寸配置。
• 自定义的 'custom_interpolation_layer' 对粗尺度特征图执行双线性上采样，使其尺寸与细尺度输出对齐，之后进行拼接。
• 网络将全连接层替换为 1×1 卷积的 '显著性图' 层，以在输入图像的每个位置生成密集的显著性预测。
• 训练使用自定义的 Python 求解器（finetune_salicon.py），每次仅处理一张图像并进行反向传播，避免使用小批量训练，以匹配原始论文的方法。
• 预训练权重使用 ImageNet 预训练的 VGG-16 初始化共享卷积特征，而显著性图层则使用高斯分布和常数偏置进行随机初始化。

实验结果

研究问题

• RQ1 能否创建一个功能完整、开源的 SALICON 显著性模型实现，以支持可复现性并推动进一步研究？
• RQ2 该开源实现与原始 SALICON 模型在 MIT 300 等标准基准测试中的性能相比如何？
• RQ3 为复现原始 SALICON 模型的行为，需要哪些关键的架构与训练选择，特别是关于输入缩放和梯度计算方面？
• RQ4 在使用预训练的 VGG-16 权重时，该模型在新数据集上可实现多大程度的微调？
• RQ5 后处理（如阈值化）是否能显著提升显著性图的质量？如果是，如何应用于开源实现的输出？

主要发现

• 开源实现生成的显著性图在视觉上与原始 SALICON 演示（salicon.net）生成的结果非常相似，证实了模型行为的准确复现。
• 通过将输入分辨率从原始的 300×400 和 600×800 提高一倍，输出尺寸被调整为 38×50，以匹配原始论文中描述的预期输出大小。
• 训练过程采用单张图像梯度更新，而非小批量训练，如原始论文所述，以避免性能下降。
• 预训练模型在 MIT 300 固视点预测基准测试中表现与原始 SALICON 模型相当，尽管原始演示输出因后处理而显得更清晰。
• 用户可通过在模型输出上应用简单的阈值化操作，获得高质量的显著性图，其视觉质量可复现原始演示的效果。
• 该实现支持训练与推理的完整模块化设计，包括用于测试、训练和求解器配置的独立 prototxt 文件。