[论文解读] Semantic Video Segmentation by Gated Recurrent Flow Propagation

David Nilsson, Cristian Sminchisescu|arXiv (Cornell University)|Dec 28, 2016

Advanced Neural Network Applications参考文献 31被引用 13

一句话总结

本文提出了一种深度的、端到端可训练的语义视频分割框架，通过使用时空门控循环单元（STGRU）利用未标注视频帧，借助光流传播语义标签，并通过局部光流不确定性自适应地门控。该方法在CityScapes和CamVid数据集上显著提升了分割精度与时间一致性，同时计算开销极低，实现了最先进性能，且无需额外标注成本。

ABSTRACT

Semantic video segmentation is challenging due to the sheer amount of data that needs to be processed and labeled in order to construct accurate models. In this paper we present a deep, end-to-end trainable methodology to video segmentation that is capable of leveraging information present in unlabeled data in order to improve semantic estimates. Our model combines a convolutional architecture and a spatio-temporal transformer recurrent layer that are able to temporally propagate labeling information by means of optical flow, adaptively gated based on its locally estimated uncertainty. The flow, the recognition and the gated temporal propagation modules can be trained jointly, end-to-end. The temporal, gated recurrent flow propagation component of our model can be plugged into any static semantic segmentation architecture and turn it into a weakly supervised video processing one. Our extensive experiments in the challenging CityScapes and Camvid datasets, and based on multiple deep architectures, indicate that the resulting model can leverage unlabeled temporal frames, next to a labeled one, in order to improve both the video segmentation accuracy and the consistency of its temporal labeling, at no additional annotation cost and with little extra computation.

研究动机与目标

• 通过利用未标注帧提升模型性能，以应对语义视频分割中高昂的标注成本挑战。
• 开发一种联合端到端训练识别、光流估计与时间传播模块的方法。
• 通过基于光流的特征映射与不确定性感知门控，自适应地传播标签，增强视频分割的时间一致性。
• 使模型可无缝集成到任意现有的静态语义分割模型中，仅需极少的架构修改。

提出的方法

• 该模型采用时空变换器门控循环单元（STGRU），结合空间变换网络进行光流特征映射，以及门控循环单元实现时间融合。
• 利用光流将相邻帧的特征进行映射，实现在视频帧之间的时空特征传播。
• 门控机制根据局部估计的光流不确定性自适应控制标签传播，降低不可靠光流估计带来的噪声。
• 整个系统可微分，端到端训练，联合优化分割、光流估计与时间传播。
• STGRU模块可插入任意预训练的静态语义分割网络中，将其转换为弱监督视频分割模型。
• 该方法使用空洞卷积与上下文模块实现密集预测，推理在裁剪后的512×512图像块上进行。

实验结果

研究问题

• RQ1 未标注的视频帧能否在无需额外标注的情况下有效提升语义分割精度？
• RQ2 如何通过基于光流的特征传播增强视频分割的时间一致性？
• RQ3 可微分的、端到端可训练架构能否联合优化光流估计、识别与时间传播？
• RQ4 基于不确定性的门控在多大程度上提升了对噪声光流的鲁棒性？

主要发现

• 在CityScapes测试集上，所提出的GRFP方法实现了84.6%的mIoU，优于基线Dilation8模型（83.1%）和FSO [24]（91.3%）。
• 在CamVid数据集上，GRFP实现了66.1%的mIoU，超过Dilation8基线（65.3%）和FSO [24]（66.1%）。
• 该方法在三段长时CityScapes视频上，平均将时间一致性提升了4.35个百分点，显著减少了分割轨迹中的闪烁与噪声。
• 使用Flownet1时，每帧仅增加75毫秒（总推理时间350毫秒）；使用Flownet2时，每帧仅增加335毫秒，计算开销极低。
• 定性结果表明，对电线杆和人行道等挑战性物体的分割效果更优，连续帧中的误报更少。
• STGRU模块成功抑制了Dilation10基线中的瞬态伪影，证明了其在时间稳定性方面的增强效果。