[论文解读] WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving

Yogamani Senthil, Hughes, Ciaran+15 more|arXiv (Cornell University)|May 4, 2019

Advanced Neural Network Applications被引用 4

一句话总结

WoodScape 是首个大规模、多相机、多任务鱼眼数据集，专为自动驾驶设计，包含四个360°鱼眼摄像头、高清LiDAR、IMU和GNSS。该数据集提供超过10万张图像的实例级语义分割、3D检测、深度估计、污损检测等任务，并引入一种95倍更快的3D检测评估指标，以及原生鱼眼感知模型，避免使用传统的图像矫正方法。

ABSTRACT

Fisheye cameras are commonly employed for obtaining a large field of view in surveillance, augmented reality and in particular automotive applications. In spite of their prevalence, there are few public datasets for detailed evaluation of computer vision algorithms on fisheye images. We release the first extensive fisheye automotive dataset, WoodScape, named after Robert Wood who invented the fisheye camera in 1906. WoodScape comprises of four surround view cameras and nine tasks including segmentation, depth estimation, 3D bounding box detection and soiling detection. Semantic annotation of 40 classes at the instance level is provided for over 10,000 images and annotation for other tasks are provided for over 100,000 images. With WoodScape, we would like to encourage the community to adapt computer vision models for fisheye camera instead of using naive rectification.

研究动机与目标

• 解决自动驾驶中基于鱼眼图像的计算机视觉领域缺乏公开、大规模数据集的问题。
• 推动原生鱼眼感知模型的发展，避免依赖图像矫正和标准透视模型。
• 引入新型标注任务，如污损检测和运动分割，专为鱼眼数据设计。
• 通过在四个鱼眼摄像头间提供同步、高精度的标注，支持多相机、多任务学习。
• 利用鱼眼数据促进端到端驾驶策略和模拟到真实域适应的研究。

提出的方法

• 部署四个覆盖360°的鱼眼摄像头，与LiDAR、GNSS和IMU同步，实现精确的定位和深度真值标注。
• 采用统一鱼眼相机模型（UCM/eUCM）将3D LiDAR点精确投影到鱼眼图像上，并进行遮挡校正。
• 使用在10,000张图像上微调的Eigen模型进行半监督深度估计，深度预测的RMSE达到7.7。
• 提出一种新型3D边界框检测评估指标，相比标准IoU方法将训练时间减少95倍。
• 利用自车运动信息为10,000张图像生成运动掩码，支持基于IoU评估的二值化运动分割。
• 开发一种适配鱼眼图像的LSD-SLAM基线模型用于视觉里程计和SLAM，使用GNSS/IMU提供厘米级真值。

实验结果

研究问题

• RQ1 深度学习模型能否在不进行图像矫正的情况下，直接从原始鱼眼图像中有效学习？这种原生处理方式是否相比矫正后的输入能提升性能？
• RQ2 与端到端学习相比，显式建模鱼眼几何结构在3D检测和深度估计等任务中的准确性和效率如何？
• RQ3 在鱼眼图像中，自车运动提供的运动线索能在多大程度上用于实现鲁棒的物体分割？
• RQ4 合成鱼眼数据在多大程度上能有效迁移到真实世界场景，用于语义分割和深度估计？
• RQ5 统一的多任务模型在多个鱼眼相机视图上的表现如何，是否能有效支持自动驾驶感知？

主要发现

• WoodScape在超过10,000张鱼眼图像上提供了40个类别的实例级语义分割，其中95%的数据集样本至少标注了一个附加任务。
• 所提出的3D检测评估指标相比标准IoU方法将训练时间减少95倍，显著加快模型迭代速度。
• 基于半监督学习的深度估计基线模型在深度估计任务中达到7.7的RMSE。
• 基于MODNet的运动分割基线在移动物体检测中达到45%的IoU，证明了在鱼眼数据中基于运动的分割方法的可行性。
• 使用适配鱼眼图像的LSD-SLAM的视觉里程计基线在50段视频序列（超过100,000帧）中表现出高精度，经GNSS/IMU真值验证。
• 该数据集首次支持公开的污损检测基准，引入了一项对恶劣天气下鲁棒感知至关重要的新任务。