[论文解读] Video Saliency Detection by 3D Convolutional Neural Networks

Guanqun Ding, Yuming Fang|arXiv (Cornell University)|Jul 12, 2018

Visual Attention and Saliency Detection参考文献 19被引用 5

一句话总结

本文提出了一种基于3D卷积神经网络（Conv3DNet）和3D反卷积神经网络（Deconv3DNet）的框架，用于视频显著性检测，通过从三个连续视频帧中学习时空特征，实现精确的显著性图预测。该方法在SegTrackV2和DAVIS数据集上取得了最先进性能，在PLCC、AUC和NSS指标上均优于现有方法。

ABSTRACT

Different from salient object detection methods for still images, a key challenging for video saliency detection is how to extract and combine spatial and temporal features. In this paper, we present a novel and effective approach for salient object detection for video sequences based on 3D convolutional neural networks. First, we design a 3D convolutional network (Conv3DNet) with the input as three video frame to learn the spatiotemporal features for video sequences. Then, we design a 3D deconvolutional network (Deconv3DNet) to combine the spatiotemporal features to predict the final saliency map for video sequences. Experimental results show that the proposed saliency detection model performs better in video saliency prediction compared with the state-of-the-art video saliency detection methods.

研究动机与目标

• 为解决有效提取和融合空间与时间特征以进行视频显著性检测的挑战。
• 克服传统方法依赖手工设计的低级特征和固定融合规则的局限性。
• 开发一种端到端的深度学习框架，能够捕捉视频序列中的高级语义信息和运动线索。
• 提高显著性预测的准确性，特别是针对小尺寸和快速移动的物体。
• 展示3D卷积和反卷积网络在建模显著性检测时空动态方面的有效性。

提出的方法

• 所提出的模型采用3D卷积网络（Conv3DNet），以三个连续视频帧作为输入，提取联合时空特征。
• Conv3DNet由五个模块组成，每个模块结合3D卷积层、批量归一化、ReLU激活函数和3D最大池化层。
• 设计了3D反卷积网络（Deconv3DNet），用于上采样并融合学习到的时空特征，以生成最终的显著性图预测。
• 网络通过端到端训练，利用中心帧（It）的真实显著性图作为监督信号，最小化前向传播过程中的损失。
• 模型采用大小为d×k×k的3D卷积核，其中d为时间深度，k为空间滤波器大小，以捕捉运动和空间上下文信息。
• 3D卷积和反卷积层的输出形状表示为f×h×w×c，分别代表帧数、高度、宽度和通道维度。

实验结果

研究问题

• RQ1 3D卷积网络能否有效学习用于视频显著性检测的联合时空特征？
• RQ2 与依赖手工特征的传统方法相比，采用3D卷积的端到端学习方法表现如何？
• RQ3 3D反卷积网络能否有效从层次化特征中重建高分辨率显著性图？
• RQ4 所提出的模型在PLCC、AUC和NSS指标上是否优于现有最先进方法？
• RQ5 该模型在复杂视频场景中对小尺寸和快速移动显著性物体的处理能力如何？

主要发现

• 所提方法在SegTrackV2数据集上取得了最高的PLCC得分0.7838，超越所有对比方法。
• 在DAVIS数据集上，模型的PLCC达到0.8145，优于第二名方法（MultiTask方法为0.8138）。
• 模型在SegTrackV2上的AUC得分达到最高值0.9107，在DAVIS上为0.9325，表明其具有更优的判别性能。
• NSS得分在SegTrackV2上达到3.0830，在DAVIS上为2.9485，表明其与人类注视模式的对齐效果更优。
• 图4中的视觉对比显示，所提方法生成的显著性图更清晰，背景误检更少，优于基线方法。
• 图3中的ROC曲线证实，所提模型在两个数据集上均持续优于现有方法。