[论文解读] Video Propagation Networks

Varun Jampani, Raghudeep Gadde+1 more|arXiv (Cornell University)|Dec 16, 2016

Image Enhancement Techniques参考文献 59被引用 27

一句话总结

本文提出视频传播网络（VPNs），一种利用可学习双边滤波机制高效传播结构化信息（如语义标签或颜色）的深度学习框架。通过结合用于视频自适应长距离特征传播的时序双边网络与用于特征优化的空间CNN，VPNs在视频对象和语义分割任务中达到最先进性能，同时比基于优化的方法快25倍，并可应用于包括颜色传播在内的多种任务。

ABSTRACT

We propose a technique that propagates information forward through video data. The method is conceptually simple and can be applied to tasks that require the propagation of structured information, such as semantic labels, based on video content. We propose a 'Video Propagation Network' that processes video frames in an adaptive manner. The model is applied online: it propagates information forward without the need to access future frames. In particular we combine two components, a temporal bilateral network for dense and video adaptive filtering, followed by a spatial network to refine features and increased flexibility. We present experiments on video object segmentation and semantic video segmentation and show increased performance comparing to the best previous task-specific methods, while having favorable runtime. Additionally we demonstrate our approach on an example regression task of color propagation in a grayscale video.

研究动机与目标

• 开发一种通用、可扩展且高效的深度学习框架，用于在视频帧之间传播结构化信息。
• 解决现有方法中基于优化的算法速度慢以及计算成本高的问题。
• 通过仅依赖当前和过去帧而不依赖未来帧，实现在线实时视频处理。
• 在单一架构中统一离散（如语义标签）和连续（如颜色）信息的传播。
• 在保证良好运行时性能的前提下实现高性能，使该方法适用于大规模视频学习并可集成到顺序处理流程中。

提出的方法

• VPNs架构由两个主要组件构成：用于密集、视频自适应时空滤波的时序双边网络，后接标准空间CNN进行特征优化。
• 双边网络执行基于像素强度、位置和时间的可学习度量的图像自适应卷积操作，连接当前帧与前序帧中的像素。
• 该方法使用支持反向传播的可学习双边滤波器，支持整个网络的端到端训练。
• 网络可进行端到端训练，并可独立微调，从而可无缝集成到现有的逐帧深度学习处理流程中。
• 在视频颜色传播任务中，采用YCbCr表示法，利用强度、位置和时间作为引导特征传播CbCr分量。
• 该架构支持在线推理，仅需当前帧和过去帧，避免在推理阶段依赖未来帧或复杂的光流估计。

实验结果

研究问题

• RQ1 能否通过通用深度学习架构在高精度和低延迟下有效传播多样化的结构化信息（如语义标签、颜色）？
• RQ2 与标准CNN或基于优化的方法相比，可学习双边滤波如何提升长距离、视频自适应的特征传播性能？
• RQ3 轻量级、端到端可训练的VPNs在视频分割和颜色传播任务中，相对于特定任务、计算密集型基线方法，能实现多大程度的性能超越？
• RQ4 时序与空间滤波组件的融合对真实世界视频应用中的性能和运行时有何影响？
• RQ5 同一VPNs架构能否在视频分类与回归任务（如语义分割与颜色传播）中均实现有效应用？

主要发现

• VPNs在视频对象分割任务中优于以往最佳的特定任务方法，当使用VPN微调时，相较于CNN-1的IoU提升超过1.2，且比FSO-CRF快至少25倍。
• VPNs中使用视频自适应双边滤波至关重要；若替换为标准空间滤波器，性能仅提升0.3 IoU，凸显时序与空间自适应的重要性。
• 在语义视频分割任务中，VPN-Flow变体进一步提升了最先进模型CNN-2的性能，表明更优的光流估计可带来更大提升。
• 在视频颜色传播任务中，VPN-Stage1达到28.15的PSNR，优于基线方法[46]（27.11 PSNR），且运行速度快20倍，证明其在回归任务中的通用适用性。
• 该方法对大视角变化和运动具有鲁棒性，但在显著相机运动区域出现一定程度的颜色渗漏，表明在极端运动场景下存在局限性。
• BNN-Identity基线（无学习）在颜色传播中达到27.89 PSNR，但通过单个VPN阶段微调后提升至28.15，表明学习机制可无需复杂架构即提升性能。