[论文解读] Two-Stream Convolutional Networks for Dynamic Saliency Prediction.

Çağdaş Bak, Aykut Erdem+1 more|arXiv (Cornell University)|Jul 16, 2016

Visual Attention and Saliency Detection参考文献 65被引用 23

一句话总结

本文提出了一种双流卷积网络，通过利用空间和时间特征来预测视频中的动态显著性，并采用一种新颖的数据增强技术以提升泛化能力。该模型在DIEM数据集上取得了最先进性能，且表明通过在SALICON上进行迁移学习，利用光流信息可增强静态显著性预测。

ABSTRACT

In recent years, visual saliency estimation in images has attracted much attention in the computer vision community. However, predicting saliency in videos has received rela- tively little attention. Inspired by the recent success of deep convolutional neural networks based static saliency mod- els, in this work, we study two different two-stream convo- lutional networks for dynamic saliency prediction. To im- prove the generalization capability of our models, we also introduce a novel, empirically grounded data augmenta- tion technique for this task. We test our models on DIEM dataset and report superior results against the existing mod- els. Moreover, we perform transfer learning experiments on SALICON, a recently proposed static saliency dataset, by finetuning our models on the optical flows estimated from static images. Our experiments show that taking motion into account in this way can be helpful for static saliency estimation.

研究动机与目标

• 解决与静态图像显著性相比，视频中动态显著性预测研究有限的问题。
• 通过一种新颖且基于实证的数据增强技术，提升视频显著性任务中的模型泛化能力。
• 通过利用从静态图像中估计的光流，探索从基于视频的模型向静态图像显著性任务进行迁移学习的可行性。
• 评估运动建模在提升动态与静态视觉任务中显著性预测效果方面的有效性。

提出的方法

• 该框架采用双流卷积神经网络：一通道处理RGB帧以提取空间特征，另一通道处理光流以捕捉时间动态。
• 提出一种新颖的数据增强策略，专为视频显著性任务设计，以增强模型的鲁棒性与泛化能力。
• 在包含真实显著性标注的视频片段上，端到端训练该模型于DIEM数据集。
• 通过在SALICON数据集上微调预训练的双流模型，实现迁移学习，将从静态图像中估计的光流作为运动通道的输入。
• 空间与运动特征的融合使模型能够有效捕捉外观与运动驱动的显著性线索。

实验结果

研究问题

• RQ1 双流卷积网络能否有效建模视频中动态显著性预测的空间与时间特征？
• RQ2 所提出的新型数据增强技术在视频显著性任务中如何提升模型泛化能力？
• RQ3 从静态图像中提取的运动信息在多大程度上可通过迁移学习改善静态显著性估计？
• RQ4 将静态图像中的光流信息引入模型，是否能在SALICON等静态显著性基准上带来性能提升？

主要发现

• 所提出的双流模型在DIEM数据集上的表现优于现有最先进模型。
• 新颖的数据增强技术显著提升了模型的泛化能力，尤其在数据量较少的情况下。
• 从基于视频的双流模型向SALICON数据集进行迁移学习，显著提升了静态显著性预测性能。
• 通过静态图像中的光流整合运动特征，增强了模型在静态图像中预测显著区域的能力。