[论文解读] Predicting Deeper into the Future of Semantic Segmentation

Pauline Luc, Natalia Neverova+3 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Neural Network Applications参考文献 46被引用 37

一句话总结

本文提出了一项新颖的任务：使用自回归卷积神经网络，提前最多0.5秒预测未来的语义分割图。通过直接建模高层场景动态而非原始RGB像素，该方法显著提升了长期预测的准确性——在Cityscapes数据集上达到基准模型（oracle model）66%的平均IoU，优于先预测RGB图像再进行分割以及基于光流变形的基线方法。

ABSTRACT

The ability to predict and therefore to anticipate the future is an important attribute of intelligence. It is also of utmost importance in real-time systems, e.g. in robotics or autonomous driving, which depend on visual scene understanding for decision making. While prediction of the raw RGB pixel values in future video frames has been studied in previous work, here we introduce the novel task of predicting semantic segmentations of future frames. Given a sequence of video frames, our goal is to predict segmentation maps of not yet observed video frames that lie up to a second or further in the future. We develop an autoregressive convolutional neural network that learns to iteratively generate multiple frames. Our results on the Cityscapes dataset show that directly predicting future segmentations is substantially better than predicting and then segmenting future RGB frames. Prediction results up to half a second in the future are visually convincing and are much more accurate than those of a baseline based on warping semantic segmentations using optical flow.

研究动机与目标

• 通过预测未来视频帧的语义分割图，解决自动驾驶系统中长期视觉预测的挑战。
• 探究建模语义级动态是否比先预测RGB帧再进行分割更有效。
• 开发一种可扩展、通用的框架，将静态图像分割与未来预测解耦，降低对昂贵密集视频标注的依赖。
• 评估自回归建模在长期语义预测中的极限，特别是在遮挡和快速运动情况下的表现。
• 在不针对新领域进行微调的情况下，评估模型在跨数据集上的泛化能力。

提出的方法

• 训练一个自回归卷积神经网络，从过去帧序列中迭代生成未来的分割图。
• 模型采用类似U-Net的编码器-解码器架构，并使用空洞卷积捕捉多尺度上下文和长距离依赖关系。
• 网络通过在预测分割图上联合使用L1损失和交叉熵损失进行训练，并引入对抗性微调以提升感知质量。
• 输入帧可以是RGB图像或预计算的语义分割图；在不同输入-目标组合下对模型进行评估。
• 在长期预测中，模型逐步生成序列，将自身先前的预测结果作为后续步骤的输入。
• 评估使用17帧（≈1秒）的时间间隔，预测时间最长可达未来10秒。

实验结果

研究问题

• RQ1 直接预测未来语义分割图是否优于间接方法（即先预测RGB帧，再应用分割模型）？
• RQ2 自回归语义预测在长时间跨度（如0.5至10秒）下性能如何退化？
• RQ3 在未进行微调的情况下，于一个数据集（Cityscapes）上训练的模型在另一个数据集（CamVid）上的泛化能力如何？
• RQ4 不同输入模态（RGB、分割图或两者结合）对预测质量与稳定性有何影响？
• RQ5 对抗性训练能否提升预测分割图的逼真度与轮廓准确性？

主要发现

• 在Cityscapes数据集上，该自回归模型在预测未来0.5秒时，平均IoU达到基准分割模型性能的66%。
• 直接在语义级别进行预测优于先预测RGB帧再应用分割模型的基线方法，尤其在长期预测中表现更优。
• 基于光流的变形方法在遮挡或新出现的物体（如迎面驶来的汽车后部）上失效，原因是光流估计不可靠。
• 对抗性微调显著提升了复杂场景（如移动的车辆和行人）下轮廓的准确性和视觉真实感。
• 该模型在未进行微调的情况下，对CamVid数据集具有合理的泛化能力，在中期预测（1–2秒后）中达到46.8%的IoU，而基准模型为55.4%。
• 在长期自回归预测中，性能在超过2秒后迅速下降，模型倾向于将物体类别平均化为模糊的平均未来状态。