[论文解读] Value of Temporal Dynamics Information in Driving Scene Segmentation

Li Ding, Jack Terwilliger+3 more|arXiv (Cornell University)|Mar 21, 2019

Visual Attention and Saliency Detection参考文献 52被引用 5

一句话总结

本文通过联合学习外观特征与时空特征，利用记忆增强网络，研究了视频中时间动态在驱动场景分割中的价值。结果表明，背景'stuff'类（如道路、人行道、地形）显著受益于时间上下文，而前景物体则更依赖于仅基于外观的特征。所提出的方法在新发布的MIT驱动场景分割数据集上，提升了边界去噪与上下文建模效果。

ABSTRACT

Semantic scene segmentation has primarily been addressed by forming representations of single images both with supervised and unsupervised methods. The problem of semantic segmentation in dynamic scenes has begun to recently receive attention with video object segmentation approaches. What is not known is how much extra information the temporal dynamics of the visual scene carries that is complimentary to the information available in the individual frames of the video. There is evidence that the human visual system can effectively perceive the scene from temporal dynamics information of the scene's changing visual characteristics without relying on the visual characteristics of individual snapshots themselves. Our work takes steps to explore whether machine perception can exhibit similar properties by combining appearance-based representations and temporal dynamics representations in a joint-learning problem that reveals the contribution of each toward successful dynamic scene segmentation. Additionally, we provide the MIT Driving Scene Segmentation dataset, which is a large-scale full driving scene segmentation dataset, densely annotated for every pixel and every one of 5,000 video frames. This dataset is intended to help further the exploration of the value of temporal dynamics information for semantic segmentation in video.

研究动机与目标

• 探究视频中的时间动态相较于静态图像外观，为语义分割提供了多少额外的互补信息。
• 理解基于外观与时空表征在动态场景理解中的相对贡献。
• 开发一种联合学习框架，以建模空间与时空特征，实现更优的分割效果。
• 发布一个大规模、全标注的驱动场景分割数据集，以支持未来对时间动态的研究。

提出的方法

• 提出一种双分支网络，包含一个外观分支（DeepLabV3）和一个使用循环记忆模块增强的时间分支。
• 引入置信度门控机制，根据学习到的可靠性动态加权外观与记忆网络预测的融合。
• 在包含5,000帧密集标注视频帧的MIT驱动场景分割数据集上端到端训练模型。
• 利用记忆网络提供的时空上下文，提升对地形、人行道等依赖上下文的'stuff'类的分割效果。
• 在外观分支中采用空洞卷积与多尺度特征聚合，以增强空间表征能力。
• 通过学习到的置信度门控实现空间与时空注意力，以判断对每个类别而言，空间特征或时空特征更可靠。

实验结果

研究问题

• RQ1 相较于静态图像外观，时间动态信息在驾驶场景语义分割中提供了多少额外价值？
• RQ2 在驾驶场景中（如前景与背景），哪些类别更受益于时空建模而非外观建模？
• RQ3 可学习的融合机制（置信度门控）能否有效平衡外观与基于记忆的预测，以提升分割鲁棒性？
• RQ4 记忆网络在多大程度上改善了如地形与人行道等'stuff'类的边界去噪与上下文建模？
• RQ5 在真实驾驶视频中，不同语义类别下，外观特征与时间特征的相对贡献如何变化？

主要发现

• 记忆网络显著提升了道路、人行道与地形等'stuff'类的分割效果，尤其在外观线索模糊的边界区域。
• 车辆与行人等前景物体通过基于外观的特征实现更精确的分割，时间建模带来的增益有限。
• 训练过程中学习到的置信度门控显示，前景物体更依赖外观分支，而背景'stuff'类则更依赖记忆分支。
• 所提方法在基线模型DeepLabV3基础上实现了持续改进，尤其在减少依赖上下文的类别错误方面表现突出。
• MIT驱动场景分割数据集为未来在自动驾驶场景中研究长期与短期时空上下文建模提供了支持。
• 定性分析表明，时间上下文有助于缓解运动模糊或相机效应引起的歧义，尤其对背景区域效果显著。