[论文解读] Towards agricultural autonomy: crop row detection under varying field conditions using deep learning

Rajitha de Silva, Grzegorz Cielniak+1 more|arXiv (Cornell University)|Sep 16, 2021

Smart Agriculture and AI参考文献 19被引用 11

一句话总结

本文提出了一种基于深度学习的作物行检测系统，采用U-Net架构并以RGB图像为输入，以实现在农田环境下的鲁棒导航。该研究引入了一种新颖的角误差度量方法，用于评估在阴影、杂草密度、不连续性以及强直射阳光等不同田间条件下的准确性，结果显示平均角度误差为0.0310度，且对生长阶段和阴影具有高度鲁棒性，但在强直射阳光和高杂草密度条件下性能下降。

ABSTRACT

This paper presents a novel metric to evaluate the robustness of deep learning based semantic segmentation approaches for crop row detection under different field conditions encountered by a field robot. A dataset with ten main categories encountered under various field conditions was used for testing. The effect on these conditions on the angular accuracy of crop row detection was compared. A deep convolutional encoder decoder network is implemented to predict crop row masks using RGB input images. The predicted mask is then sent to a post processing algorithm to extract the crop rows. The deep learning model was found to be robust against shadows and growth stages of the crop while the performance was reduced under direct sunlight, increasing weed density, tramlines and discontinuities in crop rows when evaluated with the novel metric.

研究动机与目标

• 开发一种通用的、基于深度学习的作物行检测系统，能够抵御真实田间环境中的变化。
• 评估模型在包括阴影、杂草密度、不连续性以及强直射阳光在内的多种田间条件下的鲁棒性。
• 提出并验证一种新颖的角误差度量方法，该方法比传统的IoU或准确率度量更能反映实际导航精度。
• 提供一个公开可用的数据集，包含10类田间条件，以供未来研究的基准测试。
• 根据环境条件指导后处理的适配，以提升实际部署中的性能。

提出的方法

• 使用RGB图像对基于U-Net的编码器-解码器卷积神经网络进行训练，以预测作物行的语义分割掩码。
• 采用一种新颖的角误差度量方法对模型进行评估，该方法量化预测作物行线与真实标注线之间的偏差。
• 后处理通过形态学操作和线提取，将分割掩码转换为连续的作物行线。
• 使用二元交叉熵（BCE）和焦点损失（focal loss）进行训练，以比较不同优化策略在边缘精度方面的表现。
• 测试数据集包含250张基础图像，经增强后扩展至1000张，涵盖10类田间条件，包括不同杂草密度、生长阶段和光照条件。
• 图像输入被缩放至512×512以实现全局推理，同时比较全视场与裁剪帧两种方法的预测结果。

实验结果

研究问题

• RQ1 通用的深度学习模型在多种真实田间条件下检测作物行的表现如何？
• RQ2 阴影、杂草密度、不连续性以及强直射阳光在多大程度上影响基于语义分割的作物行检测精度？
• RQ3 所提出的角误差度量方法是否比传统的IoU或准确率度量更能反映实际导航性能？
• RQ4 在角精度和掩码噪声方面，不同损失函数（BCE与焦点损失）对模型性能有何影响？
• RQ5 图像预处理（如缩放与裁剪）在保持结构完整性以实现全局作物行预测方面发挥何种作用？

主要发现

• U-Net模型在所有测试条件下均实现了0.0310度的平均角度误差，表明作物行预测具有高精度。
• 该模型对阴影和不同作物生长阶段表现出鲁棒性，性能下降极小。
• 在强直射阳光和高杂草密度条件下，性能显著下降，模型在这些条件下难以正确检测出作物行。
• 在缩放后的全局图像上，模型准确率达到84.43%，IoU为0.1896，与所有类别平均值相比，准确率下降4.93%，IoU减少0.0429。
• 焦点损失将平均角度误差降低了15.81%（降至0.0181°），但IoU下降44.73%，且噪声增加，因此BCE损失更适合于生成窄而清晰的预测结果。
• 裁剪帧推理优于全图缩放，因畸变更小，表明拼接多个预测结果可提升全局精度。