[论文解读] STFCN: Spatio-Temporal FCN for Semantic Video Segmentation

Mohsen Fayyaz, Mohammad Hajizadeh Saffar+4 more|arXiv (Cornell University)|Aug 21, 2016

Advanced Neural Network Applications参考文献 52被引用 47

一句话总结

本文提出STFCN，一种时空全卷积网络，通过基于LSTM的模块将CNN的空间特征与时间动态相结合，从而提升语义视频分割性能。该方法在CamVid和NYUDv2数据集上实现了最先进性能，通过端到端学习时空特征，相比基线FCN和空洞卷积网络，在像素级分割精度方面表现更优。

ABSTRACT

This paper presents a novel method to involve both spatial and temporal features for semantic video segmentation. Current work on convolutional neural networks(CNNs) has shown that CNNs provide advanced spatial features supporting a very good performance of solutions for both image and video analysis, especially for the semantic segmentation task. We investigate how involving temporal features also has a good effect on segmenting video data. We propose a module based on a long short-term memory (LSTM) architecture of a recurrent neural network for interpreting the temporal characteristics of video frames over time. Our system takes as input frames of a video and produces a correspondingly-sized output; for segmenting the video our method combines the use of three components: First, the regional spatial features of frames are extracted using a CNN; then, using LSTM the temporal features are added; finally, by deconvolving the spatio-temporal features we produce pixel-wise predictions. Our key insight is to build spatio-temporal convolutional networks (spatio-temporal CNNs) that have an end-to-end architecture for semantic video segmentation. We adapted fully some known convolutional network architectures (such as FCN-AlexNet and FCN-VGG16), and dilated convolution into our spatio-temporal CNNs. Our spatio-temporal CNNs achieve state-of-the-art semantic segmentation, as demonstrated for the Camvid and NYUDv2 datasets.

研究动机与目标

• 通过在视频序列中联合建模空间与时间特征，提升语义视频分割性能。
• 解决现有基于CNN的方法将视频帧视为独立输入、忽略时间上下文的局限性。
• 开发一种模块化、可端到端训练的架构，可无缝集成到现有全卷积网络（FCNs）中。
• 在包括户外（CamVid）和室内（NYUDv2）场景在内的多样化数据集上，评估所提出时空模块的有效性。
• 证明通过LSTM引入时间建模可提升分割精度，且无需对网络架构进行重大修改。

提出的方法

• 该方法使用预训练的CNN（如FCN-AlexNet或FCN-VGG16）从每帧视频中提取空间特征。
• 在空间特征提取之后插入一个基于LSTM的模块，用于建模连续帧之间的时间依赖性。
• 通过转置卷积层对时空特征进行上采样，以在原始分辨率下生成像素级分割预测。
• 采用全卷积、可微分的端到端训练架构，以保持空间与时间的一致性。
• 在主干网络中引入空洞卷积，以保持高分辨率特征图并捕捉多尺度上下文信息。
• 所提出的时空模块设计为即插即用组件，可仅通过最小修改集成到现有FCN框架中。

实验结果

研究问题

• RQ1 通过LSTM模块进行时间建模是否能超越静态帧分析，在视频语义分割中实现性能提升？
• RQ2 时空特征的融合在标准基准测试中对像素级分割精度有何影响？
• RQ3 所提出的STFCN模块在不同主干网络架构（如FCN-AlexNet和FCN-VGG16）上的泛化能力如何？
• RQ4 时间上下文的引入是否能减少因空间特征相似但运动或行为不同的物体带来的分类歧义？
• RQ5 STFCN在户外和室内数据集上的性能与最先进方法（如空洞FCN和标准FCN-32s）相比如何？

主要发现

• 在CamVid数据集上，STFCN实现了最先进性能，显著优于基线FCN和空洞FCN模型。
• 在NYUDv2数据集上，STFCN-32s RGB模型达到60.9%的像素准确率、42.3%的平均准确率和29.5%的平均交并比，优于基线FCN-32s RGB（60.0%、42.2%、29.2%）。
• STFCN-32s RGBD模型达到62.1%的像素准确率、42.6%的平均准确率和30.9%的平均交并比，优于基线FCN-32s RGBD（61.5%、42.4%、30.5%）。
• 在两个数据集上性能提升均具有一致性，证实了时间建模在减少分割歧义方面的有效性。
• 结果表明，通过LSTM进行时间建模可增强特征表示，尤其在具有相似空间模式的复杂场景中表现更优。
• 模块化设计使得STFCN可无缝集成到现有FCN框架中，实现性能提升而无需对网络架构进行大规模重构。