[论文解读] Performance Evaluation of YOLOv8 Model Configurations, for Instance Segmentation of Strawberry Fruit Development Stages in an Open Field Environment

Abdul-Razak Alhassan Gamani, Ibrahim Arhin+1 more|arXiv (Cornell University)|Aug 11, 2024

Horticultural and Viticultural ResearchAgricultural and Biological Sciences被引用 3

一句话总结

本研究评估了YOLOv8模型配置在开放田间环境下对成熟与未成熟草莓果实实例分割的性能，使用自定义数据集。YOLOv8n变体在准确率和速度两方面均优于更大规模的变体，实现了80.9%的最高mAP和24.2毫秒的最快推理速度，适用于实时田间应用。

ABSTRACT

Accurate identification of strawberries during their maturing stages is crucial for optimizing yield management, and pest control, and making informed decisions related to harvest and post-harvest logistics. This study evaluates the performance of YOLOv8 model configurations for instance segmentation of strawberries into ripe and unripe stages in an open field environment. The YOLOv8n model demonstrated superior segmentation accuracy with a mean Average Precision (mAP) of 80.9\%, outperforming other YOLOv8 configurations. In terms of inference speed, YOLOv8n processed images at 12.9 milliseconds, while YOLOv8s, the least-performing model, processed at 22.2 milliseconds. Over 86 test images with 348 ground truth labels, YOLOv8n detected 235 ripe fruit classes and 51 unripe fruit classes out of 251 ground truth ripe fruits and 97 unripe ground truth labels, respectively. In comparison, YOLOv8s detected 204 ripe fruits and 37 unripe fruits. Overall, YOLOv8n achieved the fastest inference speed of 24.2 milliseconds, outperforming YOLOv8s, YOLOv8m, YOLOv8l, and YOLOv8x, which processed images at 33.0 milliseconds, 44.3 milliseconds, 53.6 milliseconds, and 62.5 milliseconds, respectively. These results underscore the potential of advanced object segmentation algorithms to address complex visual recognition tasks in open-field agriculture effectively to address complex visual recognition tasks in open-field agriculture effectively.

研究动机与目标

• 评估多种YOLOv8模型配置在开放田间环境中对草莓果实发育阶段实例分割的性能。
• 识别在准确率与推理速度之间实现最佳平衡的YOLOv8配置，以支持实时农业应用。
• 通过准确检测成熟与未成熟草莓，支持自动化产量估算与收获决策。
• 利用深度学习应对田间环境中的挑战，如遮挡、光照变化及复杂背景。

提出的方法

• 本研究采用YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l和YOLOv8x模型进行草莓果实的实例分割。
• 使用包含240张图像、共348个真实标注（其中251个为成熟，97个为未成熟）的数据集进行训练与评估。
• 通过mAP（IoU阈值为0.5）以及推理速度、精确率、召回率和F1分数等指标评估模型性能。
• 通过精确率-召回率曲线、F1-置信度曲线和召回率-置信度曲线可视化性能，以评估检测可靠性。
• YOLOv8n因在速度与准确率之间达到最佳平衡而被选中，其性能通过所有配置的定量对比得到验证。
• 所有模型变体在相同条件下进行推理速度测量，单位为每张图像的毫秒数。

Figure 1 : Block diagram illustrating the strawberry instance segmentation workflow and yield estimation

实验结果

研究问题

• RQ1 在开放田间环境下，哪种YOLOv8模型配置能对成熟与未成熟草莓果实实现最高的实例分割准确率？
• RQ2 不同大小的YOLOv8模型在推理速度与田间部署的实时可行性方面如何比较？
• RQ3 模型架构对检测小型、被遮挡或部分可见的草莓果实的召回率与精确率有何影响？
• RQ4 YOLOv8n能否在具有复杂背景和光照变化的真实开放田间环境中有效泛化？

主要发现

• YOLOv8n在所有类别上实现了最高的平均精度（mAP）80.9%，优于所有其他YOLOv8配置。
• YOLOv8n的推理速度最快，达到每张图像24.2毫秒，显著优于YOLOv8s（33.0毫秒）、YOLOv8m（44.3毫秒）、YOLOv8l（53.6毫秒）和YOLOv8x（62.5毫秒）。
• YOLOv8n成功检测出235个成熟果实和51个未成熟果实，分别对应251个和97个真实标注，显示出较高的检测召回率。
• YOLOv8s为最不准确的模型，仅检测出204个成熟果实和37个未成熟果实，表明性能存在显著差距。
• 召回率-置信度曲线显示，在最低置信度阈值下达到93%的召回率，表明检测具有强敏感性。
• F1-置信度曲线表明，在置信度阈值0.524时，平均精确率达到78%，证实了精确率与召回率之间具有稳健的平衡。

Figure 2 : ripe and unripe fruits