[论文解读] Vision Transformers For Weeds and Crops Classification Of High Resolution UAV Images

Reenul Reedha, Eric Dericquebourg+2 more|arXiv (Cornell University)|Sep 6, 2021

Smart Agriculture and AI参考文献 43被引用 8

一句话总结

本文提出使用视觉变换器（ViT）对高分辨率无人机（UAV）图像中的杂草和作物（甜菜、非典型甜菜、香菜和菠菜）进行分类，且不依赖卷积操作。在有限标注数据上进行训练，ViT实现了99.8%的top-1准确率，优于最先进的卷积神经网络（CNN）如ResNet和EfficientNet，尤其在小样本数据集上表现更优，证明了ViT在农业图像分类中具有更优的泛化能力和效率。

ABSTRACT

Crop and weed monitoring is an important challenge for agriculture and food production nowadays. Thanks to recent advances in data acquisition and computation technologies, agriculture is evolving to a more smart and precision farming to meet with the high yield and high quality crop production. Classification and recognition in Unmanned Aerial Vehicles (UAV) images are important phases for crop monitoring. Advances in deep learning models relying on Convolutional Neural Network (CNN) have achieved high performances in image classification in the agricultural domain. Despite the success of this architecture, CNN still faces many challenges such as high computation cost, the need of large labelled datasets, ... Natural language processing's transformer architecture can be an alternative approach to deal with CNN's limitations. Making use of the self-attention paradigm, Vision Transformer (ViT) models can achieve competitive or better results without applying any convolution operations. In this paper, we adopt the self-attention mechanism via the ViT models for plant classification of weeds and crops: red beet, off-type beet (green leaves), parsley and spinach. Our experiments show that with small set of labelled training data, ViT models perform better compared to state-of-the-art CNN-based models EfficientNet and ResNet, with a top accuracy of 99.8\% achieved by the ViT model.

研究动机与目标

• 解决高分辨率无人机影像中作物与杂草精准分类在精准农业中的挑战。
• 克服基于CNN模型的局限性，如计算成本高及对大规模标注数据集的依赖。
• 评估ViT——一种基于自注意力机制的变换器模型——在小规模真实农业图像数据集上的性能表现。
• 证明ViT在低数据场景下用于植物分类任务的可行性和优越性。
• 为未来将ViT集成到自动化杂草控制系统的目标检测流程中提供基础。

提出的方法

• 将高分辨率无人机RGB图像划分为非重叠的16×16像素图像块，作为视觉变换器的输入。
• 对每个图像块应用类别嵌入和位置嵌入，以在序列输入中保留空间和类别信息。
• 通过标准的变换器编码器处理图像块序列，其中包含多头自注意力机制和前馈网络。
• 在[CLS]标记的输出上使用分类头，预测植物种类（甜菜、非典型甜菜、香菜、菠菜）。
• 使用交叉熵损失函数，通过五折交叉验证进行端到端训练，以确保模型鲁棒性。
• 在相同的训练与评估协议下，将ViT-B/16与最先进的CNN模型（ResNet50、EfficientNet-B0、EfficientNet-B1）进行对比。

实验结果

研究问题

• RQ1 视觉变换器在高分辨率无人机作物与杂草图像分类任务中，是否能实现优于基于CNN模型的分类准确率？
• RQ2 与CNN相比，ViT在训练数据量逐渐减少时，其性能如何变化？
• RQ3 ViT中的自注意力机制是否能实现比局部卷积操作更优的特征学习与泛化能力，从而提升农业图像分类性能？
• RQ4 ViT是否能在训练数据有限的情况下仍保持高准确率，从而适用于数据稀缺的农业应用场景？
• RQ5 当训练数据减少时，ViT-B/16相较于ResNet和EfficientNet变体的相对鲁棒性如何？

主要发现

• 当使用12,844张标注图像进行训练时，ViT-B/16在测试集上达到了99.8%的top-1准确率，优于ResNet50（99.50%）、EfficientNet-B0（98.78%）和EfficientNet-B1（98.98%）。
• 仅使用3,211张训练图像时，ViT-B/16的F1-Score仍达到99.63%，显著优于ResNet50（97.54%）、EfficientNet-B0（96.53%）和EfficientNet-B1（95.91%）。
• 当训练数据从12,844张减少到4,535张时，ViT-B/16的性能下降幅度极小（从99.80%降至99.14%），而CNN模型则表现出更急剧的性能下降。
• 当训练数据从12,844张减少到3,211张时，EfficientNet-B1的性能下降最大（达3.07%），表明其数据效率较差。
• ViT-B/16在所有数据设置下均表现出最稳定的性能，证明其在低数据场景下具有更优的数据效率和鲁棒性。
• 结果证实，ViT-B/16在农业图像分类任务中比CNN具有更强的泛化能力，尤其在标注数据稀缺时表现更优。