[论文解读] UAVid: A Semantic Segmentation Dataset for UAV Imagery

Ye Lyu, George Vosselman+3 more|arXiv (Cornell University)|Oct 24, 2018

Advanced Neural Network Applications参考文献 42被引用 9

一句话总结

本论文提出了UAVid，一个从倾斜无人机视角拍摄的高分辨率语义分割数据集，包含30段视频序列，涵盖8个类别和300张密集标注的4K图像。所提出的多尺度膨胀网络（Multi-Scale-Dilation net）实现了约50%的平均交并比（IoU），较基线模型提升超过1.6%；通过使用FSO和3D条件随机场（CRF）进行时空正则化，进一步获得约0.5%的性能增益。

ABSTRACT

Semantic segmentation has been one of the leading research interests in computer vision recently. It serves as a perception foundation for many fields, such as robotics and autonomous driving. The fast development of semantic segmentation attributes enormously to the large scale datasets, especially for the deep learning related methods. There already exist several semantic segmentation datasets for comparison among semantic segmentation methods in complex urban scenes, such as the Cityscapes and CamVid datasets, where the side views of the objects are captured with a camera mounted on the driving car. There also exist semantic labeling datasets for the airborne images and the satellite images, where the top views of the objects are captured. However, only a few datasets capture urban scenes from an oblique Unmanned Aerial Vehicle (UAV) perspective, where both of the top view and the side view of the objects can be observed, providing more information for object recognition. In this paper, we introduce our UAVid dataset, a new high-resolution UAV semantic segmentation dataset as a complement, which brings new challenges, including large scale variation, moving object recognition and temporal consistency preservation. Our UAV dataset consists of 30 video sequences capturing 4K high-resolution images in slanted views. In total, 300 images have been densely labeled with 8 classes for the semantic labeling task. We have provided several deep learning baseline methods with pre-training, among which the proposed Multi-Scale-Dilation net performs the best via multi-scale feature extraction. Our UAVid website and the labeling tool have been published https://uavid.nl/.

研究动机与目标

• 解决城市场景中缺乏大规模、高分辨率的倾斜无人机影像语义分割数据集的问题。
• 提供一个基准数据集，同时捕捉城市物体的顶部和侧面视图，以促进更好的物体识别与场景理解。
• 通过引入尺度变化、运动物体和时序一致性等挑战，推动无人机影像语义分割方法的发展。
• 在基于无人机的语义分割任务上，评估深度学习模型与时空正则化技术。
• 通过UAVid官网发布数据集、标注工具和基线模型，促进未来研究。

提出的方法

• 从倾斜视角采集30段4K高分辨率无人机影像视频序列，捕捉包含多样化物体尺度与动态特性的城市街景。
• 定义8个语义类别：建筑、道路、人行道、围栏、植被、汽车、行人和移动中的汽车，进行像素级密集标注。
• 使用迁移学习和预训练策略，训练并评估多种深度学习架构（如FCN-8s、U-Net、Dilation Net、MS-Dilation net）。
• 提出多尺度膨胀网络（Multi-Scale-Dilation net），以增强在多个感受野上的特征提取能力，提升对尺度变化的鲁棒性。
• 采用基于特征空间优化（FSO）和3D条件随机场（CRF）的时空正则化方法，提升时序一致性。
• 利用光流估计（下采样8倍以提高效率）和轨迹计算，指导FSO与3D CRF在连续帧上的优化与细化。

实验结果

研究问题

• RQ1 与现有语义分割数据集相比，所提出的UAVid数据集在图像视角、分辨率和场景复杂度方面有何差异？
• RQ2 最先进深度学习模型在具有倾斜视角和高分辨率输入的无人机影像上的表现如何？
• RQ3 多尺度特征提取在UAVid数据集上对语义分割准确率的提升程度如何？
• RQ4 通过FSO和3D CRF实现的时空正则化在提升时序一致性和IoU分数方面的有效性如何？
• RQ5 当前模型在处理无人机视频序列中较小或移动的物体（如行人和移动汽车）方面存在哪些局限性？

主要发现

• 所提出的多尺度膨胀网络（Multi-Scale-Dilation net）实现了约50%的平均交并比（IoU）得分，较其他基线模型提升超过1.6%。
• 通过FSO和3D CRF实现的时空正则化在所有模型上进一步将平均IoU提升约0.5%，对较大类别物体的增益更为显著。
• 行人和移动汽车类别在FSO优化后性能下降最大——行人类别下降近4%，表明对小尺寸或动态物体建模仍具挑战。
• FSO后处理步骤显著提升了大多数类别的IoU，每类提升约1%，但静态汽车和移动汽车类别的改进微弱或甚至为负。
• 定性结果表明，时空正则化使视频帧之间的预测更加连贯和一致，尤其在复杂物体边界处表现更优。
• UAVid数据集已公开发布，配有专用网站与标注工具，支持未来研究的可复现性与基准测试。