[论文解读] RoadNet-v2: A 10 ms Road Segmentation Using Spatial Sequence Layer.

Yecheng Lyu, Xinming Huang|arXiv (Cornell University)|Aug 10, 2018

Advanced Neural Network Applications参考文献 12被引用 7

一句话总结

RoadNet-v2 提出了一种新颖的空间序列层，将循环神经网络（RNN）原理整合到图像处理中，以实现高效的道路分割。通过结合卷积层与空间序列层，该网络在 KITTI 和 Cityscapes 基准测试中实现了每帧 10 ms 的实时推理，精度达到当前最先进水平，同时显著降低了计算成本。

ABSTRACT

In automated driving systems (ADS) and advanced driver-assistance systems (ADAS), an efficient road segmentation module is required to present the drivable region and to build an occupancy grid for path planning components. The existing road algorithms build gigantic convolutional neural networks (CNNs) that are computationally expensive and time consuming. In this paper, we explore the usage of recurrent neural network (RNN) in image processing and propose an efficient network layer named spatial sequence. This layer is then applied to our new road segmentation network RoadNet-v2, which combines convolutional layers and spatial sequence layers. In the end, the network is trained and tested in KITTI road benchmark and Cityscapes dataset. We claim the proposed network achieves comparable accuracy to the existing road segmentation algorithms but much faster processing speed, 10 ms per frame.

研究动机与目标

• 解决基于大型卷积神经网络（CNN）的现有道路分割模型计算效率低下的问题。
• 探索循环神经网络（RNN）在图像处理中用于道路分割任务的应用。
• 设计一种轻量化但高精度的分割网络，以实现在自动驾驶系统中的实时推理。
• 在推理时间缩短至每帧 10 ms 的同时，实现与当前最先进模型相当的高精度。

提出的方法

• 提出一种空间序列层，通过在特征图的空间维度上应用类似 RNN 的循环机制，高效建模长距离依赖关系。
• 将空间序列层与标准卷积层结合，构建混合架构，实现端到端的道路分割。
• 在 KITTI 道路基准数据集和 Cityscapes 数据集上，使用标准分割损失函数进行监督学习训练。
• 通过最小化参数量和计算操作数，对网络架构进行优化，以提升推理速度。

实验结果

研究问题

• RQ1 在不损失精度的前提下，基于 RNN 的空间维度循环机制是否能提升道路分割的效率？
• RQ2 所提出的空间序列层在建模道路分割的空间上下文方面，与标准卷积层相比表现如何？
• RQ3 RoadNet-v2 模型在标准基准测试中的推理速度是多少？是否满足自动驾驶系统的实时性要求？
• RQ4 采用空间序列层的轻量化网络能否实现与更大规模 CNN 模型相当的性能？

主要发现

• RoadNet-v2 实现了每帧 10 ms 的推理速度，支持在自动驾驶系统中实时部署道路分割。
• 该模型在 KITTI 和 Cityscapes 基准测试中的精度与当前最先进道路分割算法相当。
• 与传统深度 CNN 相比，空间序列层的引入降低了模型复杂度和计算负载。
• 所提出的架构表明，基于 RNN 的空间建模可有效应用于图像分割任务，并在速度-精度权衡上表现出良好性能。