[论文解读] Real-time Strawberry Detection Based on Improved YOLOv5s Architecture for Robotic Harvesting in open-field environment

Zixuan He, Salik Ram Khana+3 more|arXiv (Cornell University)|Aug 8, 2023

Smart Agriculture and AI被引用 6

一句话总结

本研究提出 YOLOv5s-Straw，一种基于 YOLOv5s 的改进目标检测模型，用于在开放田地环境中实现实时草莓检测。通过将 C3 模块替换为 C2f 模块，并将 SPPF 与 CSPNet 相结合，该模型在准确率和速度方面均优于 YOLOv3-tiny、YOLOv5s、YOLOv5s-C2f 和 YOLOv8s，mAP 达到 80.3%，每张图像推理时间仅 18ms，参数量仅为 8.6M。

ABSTRACT

This study proposed a YOLOv5-based custom object detection model to detect strawberries in an outdoor environment. The original architecture of the YOLOv5s was modified by replacing the C3 module with the C2f module in the backbone network, which provided a better feature gradient flow. Secondly, the Spatial Pyramid Pooling Fast in the final layer of the backbone network of YOLOv5s was combined with Cross Stage Partial Net to improve the generalization ability over the strawberry dataset in this study. The proposed architecture was named YOLOv5s-Straw. The RGB images dataset of the strawberry canopy with three maturity classes (immature, nearly mature, and mature) was collected in open-field environment and augmented through a series of operations including brightness reduction, brightness increase, and noise adding. To verify the superiority of the proposed method for strawberry detection in open-field environment, four competitive detection models (YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, and YOLOv8s) were trained, and tested under the same computational environment and compared with YOLOv5s-Straw. The results showed that the highest mean average precision of 80.3% was achieved using the proposed architecture whereas the same was achieved with YOLOv3-tiny, YOLOv5s, YOLOv5s-C2f, and YOLOv8s were 73.4%, 77.8%, 79.8%, 79.3%, respectively. Specifically, the average precision of YOLOv5s-Straw was 82.1% in the immature class, 73.5% in the nearly mature class, and 86.6% in the mature class, which were 2.3% and 3.7%, respectively, higher than that of the latest YOLOv8s. The model included 8.6*10^6 network parameters with an inference speed of 18ms per image while the inference speed of YOLOv8s had a slower inference speed of 21.0ms and heavy parameters of 11.1*10^6, which indicates that the proposed model is fast enough for real time strawberry detection and localization for the robotic picking.

研究动机与目标

• 解决在光照变化多端和复杂田间条件下实现高精度、实时草莓检测的挑战。
• 克服传统图像处理方法对稳定光照条件的依赖性，并解决其在形态差异显著情况下的处理难题。
• 提升对三种成熟度等级（未成熟、近成熟、成熟）草莓的检测精度，以支持机器人采摘决策。
• 开发一种轻量化、快速且鲁棒的模型，适用于在开放田地农业中部署于机器人平台。
• 增强特征提取能力与梯度流动，以提升在真实草莓冠层图像上的泛化能力与检测性能。

提出的方法

• 将 YOLOv5s 主干网络中的 C3 模块替换为 C2f 模块，以改善梯度流动与特征学习能力。
• 将空间金字塔池化快速模块（SPPF）与跨阶段部分网络（CSPNet）结合，以增强特征图表示能力与泛化性能。
• 在开放田地条件下，收集并扩充了包含三个成熟度类别的草莓冠层 RGB 数据集。
• 应用数据增强技术，包括亮度降低、亮度提升和噪声添加，以提升模型鲁棒性。
• 在相同计算条件下，对所提出的 YOLOv5s-Straw 模型与 YOLOv3-tiny、YOLOv5s、YOLOv5s-C2f 和 YOLOv8s 进行训练与评估。
• 采用平均平均精度（mAP）与推理速度作为主要评估指标，进行对比分析。

实验结果

研究问题

• RQ1 在 YOLOv5s 中用 C2f 模块替代 C3 模块，是否能提升开放田地环境下草莓检测的精度？
• RQ2 将 SPPF 与 CSPNet 结合，是否能增强 YOLOv5s 模型在多样化草莓数据集上的泛化能力？
• RQ3 与 YOLOv8s 和 YOLOv5s-C2f 等先进模型相比，所提出的 YOLOv5s-Straw 模型在 mAP 和推理速度方面表现如何？
• RQ4 该模型在真实户外环境中，对不同成熟度等级的草莓是否能保持高精度？
• RQ5 该模型能否在保持高精度与低参数量的前提下，实现亚 20ms 的实时推理性能，适用于机器人部署？

主要发现

• 所提出的 YOLOv5s-Straw 模型实现了 80.3% 的平均平均精度（mAP），显著优于 YOLOv3-tiny（73.4%）、YOLOv5s（77.8%）、YOLOv5s-C2f（79.8%）和 YOLOv8s（79.3%）。
• 该模型在未成熟类别上达到 82.1% 的平均精度（AP），近成熟类别为 73.5%，成熟类别为 86.6%。
• 与 YOLOv8s 相比，YOLOv5s-Straw 在未成熟类别上高出 2.3 个百分点，在成熟类别上高出 3.7 个百分点。
• 模型实现每张图像 18ms 的推理速度，适用于实时机器人应用。
• 仅含 8.6 × 10⁶ 个参数，YOLOv5s-Straw 比 YOLOv8s 更轻量化且更快（YOLOv8s 参数量为 11.1 × 10⁶，推理时间为 21.0ms）。
• C2f 与 SPPF-CSPNet 的集成显著增强了特征学习与梯度流动，从而提升了在复杂田间条件下的检测精度与鲁棒性。