[论文解读] Spatio-Temporal Saliency Networks for Dynamic Saliency Prediction

Çağdaş Bak, Aysun Kocak+2 more|arXiv (Cornell University)|Jul 16, 2016

Visual Attention and Saliency Detection被引用 8

一句话总结

本文提出时空显著性网络（STSConvNet），采用双流卷积神经网络架构，通过联合建模空间与时间特征，实现对视频中动态显著性的预测。该模型在DIEM和UCF-Sports数据集上通过端到端训练结合逐元素融合与卷积融合策略，实现了最先进性能，并通过引入静态图像的光流信息，进一步提升了静态显著性预测效果。

ABSTRACT

Computational saliency models for still images have gained significant popularity in recent years. Saliency prediction from videos, on the other hand, has received relatively little interest from the community. Motivated by this, in this work, we study the use of deep learning for dynamic saliency prediction and propose the so-called spatio-temporal saliency networks. The key to our models is the architecture of two-stream networks where we investigate different fusion mechanisms to integrate spatial and temporal information. We evaluate our models on the DIEM and UCF-Sports datasets and present highly competitive results against the existing state-of-the-art models. We also carry out some experiments on a number of still images from the MIT300 dataset by exploiting the optical flow maps predicted from these images. Our results show that considering inherent motion information in this way can be helpful for static saliency estimation.

研究动机与目标

• 为解决现有基于深度学习的动态显著性模型在视频中未能有效整合空间与时间信息的问题。
• 开发一种双流CNN架构，模拟人类视觉通路，实现外观与运动特征的联合处理。
• 在标准动态显著性基准（DIEM和UCF-Sports）上评估所提模型，并与现有最先进方法进行比较。
• 探究从静态图像中提取的运动信息（通过光流）是否能提升静态显著性预测性能。
• 通过将模型应用于具有估计运动信息的静态图像，证明其在视频数据之外的泛化能力。

提出的方法

• 该模型采用双流CNN架构：一路处理RGB帧以提取空间特征，另一路处理光流图以捕捉时间动态。
• 探索三种融合策略——逐元素平均、最大值融合与卷积融合——以实现端到端可训练的双流特征融合。
• 网络通过结合真实显著性图与一种新颖的数据增强技术（使用视频帧及其显著性图的低分辨率版本）进行训练。
• 在静态图像实验中，利用预训练的深度光流模型从静态图像中预测光流，所得运动图与RGB输入在STSConvNet框架中进行融合。
• 损失函数通过标准反向传播进行端到端优化，性能使用AUC、CC和NSS等标准指标评估。
• 在DIEM和UCF-Sports数据集上对模型进行微调，并通过消融实验验证各融合策略的有效性。

实验结果

研究问题

• RQ1 双流深度学习架构能否有效结合空间与时间特征，实现视频中动态显著性的预测？
• RQ2 在逐元素、最大值与卷积三种融合策略中，哪一种在整合空间与时间特征方面表现最佳？
• RQ3 将光流图中的运动信息引入是否能提升静态图像上的显著性预测性能？
• RQ4 所提出的STSConvNet模型在基准数据集上与现有最先进动态显著性模型相比表现如何？
• RQ5 该模型是否能超越视频数据，通过利用内在运动线索在静态图像中提升显著性预测性能？

主要发现

• STSConvNet在DIEM和UCF-Sports数据集上，于AUC、CC和NSS等多个评估指标上均优于所有现有最先进动态显著性模型。
• 在测试的三种融合机制中，卷积融合策略表现最佳，证明其在整合空间与时间特征方面的有效性。
• 在DIEM数据集上，STSConvNet*模型在所有评估指标上均优于近期提出的DWS模型。
• 该模型能成功定位复杂场景中跑步者、举重者及移动个体等显著区域，在定性比较中优于基线模型。
• 当应用于MIT300数据集的静态图像时，加入光流输入的模型生成的显著性图比最先进静态显著性模型更准确，尤其在捕捉由运动推断出的显著区域方面表现更优。
• 低分辨率数据增强的使用显著提升了模型性能，表明其在数据稀缺场景中的重要价值。