[论文解读] Performance Evaluation of Deep Transfer Learning on Multiclass Identification of Common Weed Species in Cotton Production Systems

Dong Chen, Yuzhen Lu+2 more|arXiv (Cornell University)|Oct 11, 2021

Plant Virus Research Studies被引用 6

一句话总结

本研究利用在密西西比州和北卡罗来纳州采集的5,187张自然光下图像，评估了深度迁移学习（DTL）在15种常见棉田杂草多类别识别中的表现。DTL的F1分数超过95%，其中ResNet101达到99.1%的F1分数，加权交叉熵损失显著提升了少数类别的识别效果，展示了在真实农业环境中精准杂草管理的强大潜力。

ABSTRACT

Precision weed management offers a promising solution for sustainable cropping systems through the use of chemical-reduced/non-chemical robotic weeding techniques, which apply suitable control tactics to individual weeds. Therefore, accurate identification of weed species plays a crucial role in such systems to enable precise, individualized weed treatment. This paper makes a first comprehensive evaluation of deep transfer learning (DTL) for identifying common weeds specific to cotton production systems in southern United States. A new dataset for weed identification was created, consisting of 5187 color images of 15 weed classes collected under natural lighting conditions and at varied weed growth stages, in cotton fields during the 2020 and 2021 field seasons. We evaluated 27 state-of-the-art deep learning models through transfer learning and established an extensive benchmark for the considered weed identification task. DTL achieved high classification accuracy of F1 scores exceeding 95%, requiring reasonably short training time (less than 2.5 hours) across models. ResNet101 achieved the best F1-score of 99.1% whereas 14 out of the 27 models achieved F1 scores exceeding 98.0%. However, the performance on minority weed classes with few training samples was less satisfactory for models trained with a conventional, unweighted cross entropy loss function. To address this issue, a weighted cross entropy loss function was adopted, which achieved substantially improved accuracies for minority weed classes. Furthermore, a deep learning-based cosine similarity metrics was employed to analyze the similarity among weed classes, assisting in the interpretation of classifications. Both the codes for model benchmarking and the weed dataset are made publicly available, which expect to be be a valuable resource for future research in weed identification and beyond.

研究动机与目标

• 开发一种在真实田间条件下具备鲁棒性与高准确率的棉花生产系统中常见杂草物种图像分类系统。
• 解决杂草图像数据集中类别不平衡的问题，特别是针对训练样本有限的稀有或少数类杂草物种。
• 建立基于迁移学习的最先进的深度学习模型在多类别杂草识别中的全面基准。
• 评估加权交叉熵损失和焦点损失等损失函数在提升代表性不足杂草类别分类效果方面的有效性。
• 公开提供数据集和代码，以支持未来在农业计算机视觉领域的研究。

提出的方法

• 在2020年和2021年期间，于密西西比州和北卡罗来纳州的多个棉花田中，采集了5,187张15种杂草物种在自然光照和不同生长阶段下的彩色图像。
• 使用ImageNet预训练主干网络，通过迁移学习训练27种最先进的深度学习模型，并在自定义棉花杂草数据集上进行微调。
• 采用加权交叉熵（WCE）损失函数，为少数类别分配更高的损失权重，以缓解训练过程中的类别不平衡问题。
• 应用基于深度学习的余弦相似度度量方法，分析特征空间中的关系，并解释不同杂草类别之间的模型误分类现象。
• 使用数据增强技术（如随机旋转和像素归一化）以提高模型泛化能力，尽管未充分探索基于生成对抗网络（GAN）的增强方法。
• 使用F1分数、宏平均F1分数和混淆矩阵评估模型性能，以衡量整体和各类别的准确率。

实验结果

研究问题

• RQ1 深度迁移学习是否能在非结构化田间条件下实现对常见棉田杂草的高精度多类别分类？
• RQ2 不同深度学习架构在分类具有不同图像质量和生长阶段的多样化杂草物种时表现如何？
• RQ3 数据集中的类别不平衡在多大程度上影响模型性能，特别是对稀有杂草物种的影响？
• RQ4 与标准交叉熵损失相比，加权损失函数（如WCE）是否能显著提升少数类杂草类别的分类准确率？
• RQ5 基于深度学习的相似度度量方法（如余弦相似度）在解释和诊断模型误分类方面有何帮助？

主要发现

• 深度迁移学习实现了高水平的多类别分类性能，所有模型的F1分数均超过95%，其中27个模型中有14个的F1分数高于98.0%。
• ResNet101取得了最高的F1分数99.1%，在本基准测试中表现最佳。
• 加权交叉熵（WCE）损失函数显著提升了少数类别的检测能力，将Spurred Anoda的F1分数从20%提升至80%（MnasNet），从40%提升至80%（EfficientNet-b2）。
• 余弦相似度度量揭示了杂草类别之间的有意义关系，有助于解释误分类模式。
• 尽管整体性能优异，但EfficientNet等模型在少数类别上表现欠佳，表明需要采用类别平衡技术。
• 公开发布的数据集（5,187张图像，15个类别）和代码库有望成为未来农业计算机视觉研究的重要基准。