[论文解读] Nazr-CNN: Object Detection and Fine-Grained Classification in Crowdsourced UAV Images.

Nazia Attari, Ferda Ofli+3 more|arXiv (Cornell University)|Nov 20, 2016

Disaster Management and Resilience被引用 4

一句话总结

Nazr-CNN 是一种用于灾后瓦努图飓风无人机图像中目标检测与细粒度损伤分类的深度学习流程。它使用预训练的卷积神经网络（CNN）进行像素级定位，并对分割区域使用费雪向量编码以区分细微的损伤等级，在存在标注噪声的小型众包数据集上表现出稳健性能。

ABSTRACT

We propose Nazr-CNN, a deep learning pipeline for object detection and fine-grained classification in images acquired from Unmanned Aerial Vehicles (UAVs). The UAVs were deployed in the Island of Vanuatu to assess damage in the aftermath of cyclone PAM in 2015. The images were labeled by a crowdsourcing effort and the labeling categories consisted of fine-grained levels of damage to built structures. Nazr-CNN consists of two components. The function of the first component is to localize objects (e.g. houses) in an image by carrying out a pixel-level classification. In the second component, a hidden layer of a Convolutional Neural Network (CNN) is used to encode Fisher Vectors (FV) of the segments generated from the first component in order to help discriminate between between different levels of damage. Since our data set is relatively small, a pre-trained network for pixel-level classification and FV encoding was used. Nazr-CNN attains promising results both for object detection and damage assessment suggesting that the integrated pipeline is robust in the face of small data sets and labeling errors by annotators. While the focus of Nazr-CNN is on assessment of UAV images in a post-disaster scenario, our solution is general and can be applied in many diverse settings.

研究动机与目标

• 解决在有限、嘈杂且小规模标注数据下，灾后无人机影像中细粒度损伤评估的挑战。
• 开发一种统一的深度学习流程，结合目标检测与多级损伤分类。
• 利用预训练模型与费雪向量编码，提升在小数据集上存在标注不一致时的性能。
• 通过低成本无人机部署，在真实灾害场景中实现稳健且可扩展的损伤评估。

提出的方法

• 使用预训练的卷积神经网络（CNN）进行像素级分类，以定位无人机图像中的房屋等对象。
• 从第一部分的输出中提取图像片段，聚焦于感兴趣区域。
• 利用CNN隐藏层提取的费雪向量（FV）对这些片段的特征进行编码，以捕捉区分性模式。
• 训练基于FV的表征，以对建筑结构中的细粒度损伤等级进行分类。
• 通过使用预训练模型初始化像素级分类与FV编码，利用迁移学习缓解数据稀缺问题。
• 将两部分组件整合为一个端到端流程，联合优化检测与分类。

实验结果

研究问题

• RQ1 在标注数据有限的灾后无人机影像场景中，深度学习流程能否有效检测目标并分类细粒度损伤等级？
• RQ2 对CNN特征进行费雪向量编码在小数据集中如何提升对细微损伤等级的判别能力？
• RQ3 从预训练模型进行迁移学习在存在标注噪声的小型众包无人机图像数据集上，能在多大程度上提升性能？
• RQ4 所提出的流程在非专业众包标注者引入不一致或噪声标注的情况下，是否仍能保持鲁棒性？

主要发现

• 尽管数据集规模较小，Nazr-CNN 在无人机图像的目标检测任务中仍表现出强劲性能。
• 将费雪向量编码与CNN特征结合，显著提升了细粒度损伤等级的分类准确率。
• 在像素级分类与FV编码中均使用预训练模型，增强了模型的泛化能力，并减少了小数据集上的过拟合。
• 该流程在众包标注过程中由非专业标注者引入的标注错误下仍表现出鲁棒性。
• 整体架构在真实灾后评估中表现有效，显示出在类似低资源环境下的部署潜力。