[论文解读] Winter Road Surface Condition Recognition Using A Pretrained Deep Convolutional Network

Guangyuan Pan, Liping Fu+2 more|arXiv (Cornell University)|Dec 17, 2018

Infrastructure Maintenance and Monitoring参考文献 16被引用 17

一句话总结

本文提出了一种微调的预训练深度卷积神经网络（CNN），用于利用智能手机拍摄的图像识别冬季道路表面状况（RSC）。通过利用预训练的CNN并添加两个全连接层以实现领域特定的特征学习，该模型在传统方法（如SVM和随机森林）的基础上实现了更高的分类准确率，尤其在强光和盐渍残留等挑战性条件下表现更优。

ABSTRACT

This paper investigates the application of the latest machine learning technique deep neural networks for classifying road surface conditions (RSC) based on images from smartphones. Traditional machine learning techniques such as support vector machine (SVM) and random forests (RF) have been attempted in literature; however, their classification performance has been less than desirable due to challenges associated with image noises caused by sunlight glare and residual salts. A deep learning model based on convolutional neural network (CNN) is proposed and evaluated for its potential to address these challenges for improved classification accuracy. In the proposed approach we introduce the idea of applying an existing CNN model that has been pre-trained using millions of images with proven high recognition accuracy. The model is extended with two additional fully-connected layers of neurons for learning the specific features of the RSC images. The whole model is then trained with a low learning rate for fine-tuning by using a small set of RSC images. Results show that the proposed model has the highest classification performance in comparison to the traditional machine learning techniques. The testing accuracy with different training dataset sizes is also analyzed, showing the potential of achieving much higher accuracy with a larger training dataset.

研究动机与目标

• 解决传统机器学习方法在分类冬季道路表面状况时因阳光眩光和残留盐分导致的图像噪声问题。
• 探索深度学习，特别是使用预训练CNN进行迁移学习，在低能见度和噪声较多的冬季道路成像场景中提升分类准确率的潜力。
• 评估微调的CNN模型在通过智能手机采集的小型、领域特定的冬季道路表面图像数据集上的性能。
• 分析训练数据集大小对模型准确率的影响，以评估其可扩展性和泛化潜力。

提出的方法

• 利用在ImageNet上预训练的深度卷积神经网络（CNN）模型（基于数百万张通用图像），以利用其学习到的分层特征。
• 将预训练模型的最终分类层替换为两个新的全连接层，以适应道路表面状况（RSC）分类的特定任务。
• 使用从智能手机获取的小型、领域特定的冬季道路表面图像数据集，通过低学习率对整个网络进行微调，以保留预训练特征。
• 通过模型训练过程隐式应用数据增强技术，以提高对光照变化和残留物等图像差异的鲁棒性。
• 使用随机梯度下降和交叉熵损失函数训练模型，以优化在RSC数据集上的分类性能。
• 使用标准指标（如测试准确率）评估模型性能，并与SVM和随机森林等传统方法进行比较。

实验结果

研究问题

• RQ1 预训练的深度CNN是否能在智能手机图像中对冬季道路表面状况的分类上优于SVM和随机森林等传统机器学习模型？
• RQ2 使用预训练CNN进行迁移学习在处理冬季道路条件下由阳光眩光和残留盐分引起的图像噪声方面效果如何？
• RQ3 训练数据集大小的变化对所提出的微调CNN模型分类准确率有何影响？
• RQ4 在小型、领域特定的数据集上对预训练CNN进行微调，是否能显著提升性能，相较于从零开始训练或使用传统方法？

主要发现

• 所提出的微调预训练CNN模型在所有评估方法中实现了最高的分类准确率，显著优于SVM和随机森林等传统机器学习技术。
• 该模型对由阳光眩光和残留盐分引起的图像噪声表现出强鲁棒性，而这类噪声通常会降低传统方法的性能。
• 随着训练数据集大小的增加，测试准确率持续提升，表明在使用更大、更多样化的数据集时，准确率仍有显著提升的潜力。
• 采用低学习率进行微调能有效将预训练特征适配到冬季道路表面图像的特定特征，从而增强领域特定的特征学习能力。
• 迁移学习的使用减少了对大规模标注数据集的需求，使该方法在利用智能手机拍摄图像进行实际部署时更具可行性。
• 该模型的性能已在第97届交通运输研究委员会年会上得到验证，确认了其实际相关性与技术可靠性。