[论文解读] Weather Classification: A new multi-class dataset, data augmentation approach and comprehensive evaluations of Convolutional Neural Networks

José Guerra, Zeba Khanam+3 more|arXiv (Cornell University)|Aug 1, 2018

Image Enhancement Techniques参考文献 12被引用 5

一句话总结

本文介绍了RFS数据集，这是一个新的开源多类别天气图像数据集，涵盖雨天、雪天和雾天，同时提出了一种基于超像素的新数据增强技术，以提升卷积神经网络（CNN）在天气分类任务中的性能。该方法在10种CNN架构上均增强了模型的泛化能力，其中ResNet-50在使用100个超像素掩码时达到最高的mAP（80.70%），表明基于超像素的增强方法在提升准确率的同时，能够有效缓解类别不平衡与域偏移问题。

ABSTRACT

Weather conditions often disrupt the proper functioning of transportation systems. Present systems either deploy an array of sensors or use an in-vehicle camera to predict weather conditions. These solutions have resulted in incremental cost and limited scope. To ensure smooth operation of all transportation services in all-weather conditions, a reliable detection system is necessary to classify weather in wild. The challenges involved in solving this problem is that weather conditions are diverse in nature and there is an absence of discriminate features among various weather conditions. The existing works to solve this problem have been scene specific and have targeted classification of two categories of weather. In this paper, we have created a new open source dataset consisting of images depicting three classes of weather i.e rain, snow and fog called RFS Dataset. A novel algorithm has also been proposed which has used super pixel delimiting masks as a form of data augmentation, leading to reasonable results with respect to ten Convolutional Neural Network architectures.

研究动机与目标

• 为解决户外场景分类任务中缺乏多样化、多类别天气数据集的问题。
• 通过数据增强技术提升CNN在天气分类任务中的泛化能力与鲁棒性。
• 探索基于超像素掩码作为新型增强策略在细粒度天气识别中的有效性。
• 在不同增强条件下，评估多种最先进CNN架构在新基准数据集上的表现。
• 提供可复现的开源数据集与方法，以减少天气分类模型中的偏差并提升公平性。

提出的方法

• 作者通过从在线来源收集图像，构建了RFS数据集，每类（雨天、雪天、雾天）包含2000张图像，并引入现有基准图像以降低偏差。
• 开发了一种基于超像素掩码的新型数据增强技术——利用SLIC算法生成超像素，通过掩蔽并增强输入图像的区域，生成合成训练样本。
• 在每张图像中以不同密度（每张图像25、50、75、100个掩码）应用超像素掩码，以在不改变原始图像分布的前提下提升训练多样性。
• 对10种预训练CNN架构（包括ResNet、VGG、CaffeNet、PlacesCNN）在RFS数据集上进行微调，对比使用与不使用超像素增强的设置。
• 评估采用所有类别上的平均精确率（mAP），并通过各类别分析评估模型的鲁棒性与泛化能力。
• 整个流程包括图像预处理、超像素生成、通过掩蔽进行数据混合，以及使用交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 基于超像素的数据增强是否能提升CNN在多类别天气分类任务中的性能？
• RQ2 超像素掩码的数量如何影响不同架构下模型的泛化能力与准确率？
• RQ3 与现有天气数据集相比，所提出的RFS数据集是否能减少偏差并提升公平性？
• RQ4 在超像素增强条件下，哪种CNN架构在天气分类任务中表现最佳？
• RQ5 结合在线图像与基准图像的混合数据集是否能提升模型鲁棒性并减少域偏移？

主要发现

• 当使用100个超像素掩码训练时，ResNet-50达到最高的mAP（80.70%），在所有设置和架构中表现最优。
• 超像素增强在10种模型中的8种上均提升了mAP，其中在ResNet-50和ResNet-101上提升最为显著。
• PlacesCNN和CaffeNet模型在增强后表现几乎没有改善，表明其架构在利用这种新型数据形式方面存在局限性。
• 在晴天类别中，VGG_CNN_M表现最佳，表明某些架构可能更适合特定天气类型。
• 所有模型与设置下的总体mAP范围为68%至81%，证实了所提增强方法与数据集的有效性。
• 结果支持假设：超像素掩蔽通过在训练过程中引入受控的、语义上有意义的扰动，有助于提升特征学习能力。