[论文解读] Potato Crop Stress Identification in Aerial Images using Deep Learning-based Object Detection

Sujata Butte, Aleksandar Vakanski+3 more|arXiv (Cornell University)|Jun 14, 2021

Smart Agriculture and AI参考文献 82被引用 64

一句话总结

本文提出Retina-UNet-Ag，一种基于深度学习的物体检测模型，通过将低层次语义密集特征整合到特征金字塔网络（FPN）中，以在低空航拍的RGB和多光谱图像中识别干旱胁迫下的Russet Burbank马铃薯植株。该方法在测试图像上实现了0.74的平均Dice评分系数，展示了在真实田间条件下对个体植株水平的植株胁迫检测具有出色的鲁棒性。

ABSTRACT

Recent research on the application of remote sensing and deep learning-based analysis in precision agriculture demonstrated a potential for improved crop management and reduced environmental impacts of agricultural production. Despite the promising results, the practical relevance of these technologies for field deployment requires novel algorithms that are customized for analysis of agricultural images and robust to implementation on natural field imagery. The paper presents an approach for analyzing aerial images of a potato (Solanum tuberosum L.) crop using deep neural networks. The main objective is to demonstrate automated spatial recognition of healthy vs. stressed crop at a plant level. Specifically, we examine premature plant senescence resulting in drought stress on Russet Burbank potato plants. We propose a novel deep learning (DL) model for detecting crop stress, named Retina-UNet-Ag. The proposed architecture is a variant of Retina-UNet and includes connections from low-level semantic representation maps to the feature pyramid network. The paper also introduces a dataset of aerial field images acquired with a Parrot Sequoia camera. The dataset includes manually annotated bounding boxes of healthy and stressed plant regions. Experimental validation demonstrated the ability for distinguishing healthy and stressed plants in field images, achieving an average dice score coefficient (DSC) of 0.74. A comparison to related state-of-the-art DL models for object detection revealed that the presented approach is effective for this task. The proposed method is conducive toward the assessment and recognition of potato crop stress in aerial field images collected under natural conditions.

研究动机与目标

• 开发一种深度学习模型，能够在真实世界航拍图像中准确检测并定位受胁迫的马铃薯植株。
• 应对田间图像分析中的挑战，包括植株重叠、光照变化以及密集冠层中缺乏清晰边界的问题。
• 创建并发布一个公开可用的标注航拍图像数据集，用于马铃薯作物胁迫检测。
• 提升物体检测模型在农业应用中的泛化能力与鲁棒性，超越传统图像分类方法。

提出的方法

• 提出Retina-UNet-Ag，一种Retina-UNet的变体，通过将低层次语义密集特征图注入特征金字塔网络（FPN），以增强空间定位能力。
• 利用Parrot Sequoia多光谱无人机在3米高度采集高分辨率RGB和多光谱图像，覆盖马铃薯田。
• 采用实例分割风格的边界框标注，对健康与受胁迫植株进行标注，以应对植株重叠和混合叶片状况。
• 通过组合使用RGB与光谱波段合成图像（R-G-NIR、R-NIR-RE、R-G-RE）进行模型训练，以评估不同图像类型下的性能表现。
• 采用ImageNet预训练主干网络（如ResNet）进行迁移学习，并在自定义马铃薯数据集上进行微调。
• 采用标准物体检测指标评估性能：Dice评分系数（DSC）、交并比（IoU）、精确率（Precision）与召回率（Recall）

实验结果

研究问题

• RQ1 基于深度学习的物体检测模型能否在真实航拍田间图像中准确识别并定位受干旱胁迫的个体马铃薯植株？
• RQ2 将低层次语义特征整合到特征金字塔网络中，如何提升复杂田间场景下植株胁迫检测的性能？
• RQ3 在相同无人机平台采集的高分辨率RGB图像与低分辨率多光谱图像之间，模型性能有何差异？
• RQ4 在存在植株重叠、光照变化及健康/受胁迫叶片混合的自然田间条件下，该模型的泛化能力如何？
• RQ5 在缺乏清晰视觉边界的条件下，该模型能否在区分受胁迫与健康马铃薯植株方面实现高精确率与高召回率？

主要发现

• Retina-UNet-Ag在测试集上实现了0.74的平均Dice评分系数（DSC），其中健康植株为0.723，受胁迫植株为0.756。
• 在所有评估指标上，该模型均优于四种最先进物体检测模型（Mask R-CNN、RetinaNet、Faster R-CNN、YOLO v3），尤其在受胁迫植株的召回率与精确率方面表现更优。
• 多光谱图像上的性能低于RGB图像，DSC分别为R-G-NIR的0.536和R-NIR-RE的0.588，归因于较低的分辨率（960×1280对比3456×4608像素）。
• 该模型在几乎所有测试图像中成功检测并定位了受胁迫植株，即使在植株重叠和混合叶片条件下也表现良好。
• 本研究引入并公开发布了包含100多张标注的干旱胁迫马铃薯作物航拍图像的新数据集，为未来研究提供支持。
• 结果表明，引入低层次语义特征可显著提升复杂农业场景中边界定义不清晰情况下的检测鲁棒性。