[论文解读] Vision based Crop Row Navigation under Varying Field Conditions in Arable Fields

Rajitha de Silva, Grzegorz Cielniak+1 more|arXiv (Cornell University)|Sep 28, 2022

Smart Agriculture and AI被引用 1

一句话总结

本文提出了一种基于深度学习的作物行检测算法，利用安装在Husky机器人前部的RGB摄像头获取图像，可在多种农田环境中实现鲁棒的视觉伺服导航。该方法相较于基于颜色的基线方法性能提升37.66%，并能成功检测作物行末端，自主引导机器人驶向田头区，仿真中仅产生微小的航向和位置偏差。

ABSTRACT

Accurate crop row detection is often challenged by the varying field conditions present in real-world arable fields. Traditional colour based segmentation is unable to cater for all such variations. The lack of comprehensive datasets in agricultural environments limits the researchers from developing robust segmentation models to detect crop rows. We present a dataset for crop row detection with 11 field variations from Sugar Beet and Maize crops. We also present a novel crop row detection algorithm for visual servoing in crop row fields. Our algorithm can detect crop rows against varying field conditions such as curved crop rows, weed presence, discontinuities, growth stages, tramlines, shadows and light levels. Our method only uses RGB images from a front-mounted camera on a Husky robot to predict crop rows. Our method outperformed the classic colour based crop row detection baseline. Dense weed presence within inter-row space and discontinuities in crop rows were the most challenging field conditions for our crop row detection algorithm. Our method can detect the end of the crop row and navigate the robot towards the headland area when it reaches the end of the crop row.

研究动机与目标

• 开发一种鲁棒、低成本的基于视觉的作物行检测系统，用于真实农田环境下的自主导航。
• 解决作物行检测中存在杂草、间断、阴影及光照变化等挑战。
• 仅使用RGB摄像头输入，消除对RTK-GPS和LiDAR等昂贵传感器的依赖。
• 设计一种视觉伺服控制器，保持机器人在作物行内的对齐，并在行末端实现安全退出。
• 创建并发布一个全面的数据集（CRDLDv2.1），包含来自甜菜和玉米作物的11种田间变化，供未来研究使用。

提出的方法

• 基于CRDLDv2.1数据集训练U-Net深度学习模型，从RGB图像生成精确的作物行分割掩码。
• 提出一种新型作物行扫描算法，通过分析像素强度梯度和空间分布，处理分割掩码以检测作物行中心线。
• 视觉伺服控制器利用实时图像反馈调整机器人转向，通过最小化角度和位置偏差，保持机器人在作物行内的对齐。
• 当末端行检测器识别出作物行终止时，触发退出机动，采用比例控制策略引导机器人驶向田头区。
• 末端行检测基于作物行连续性的下降和分割掩码中的视觉线索，实现在无需变焦视野摄像头的条件下实现早期检测。
• 在模拟环境中通过具有受控条件的合成作物行对系统进行评估，以验证性能和稳定性。

实验结果

研究问题

• RQ1 在多样的田间条件下，基于深度学习的作物行检测方法与传统基于颜色的分割方法相比表现如何？
• RQ2 作物行检测中最具挑战性的田间条件是什么？所提方法在这些条件下的表现如何？
• RQ3 基于视觉的系统能否在不增加额外硬件的前提下检测作物行末端并安全引导机器人退出？
• RQ4 视觉伺服稳定性在导航过程中对作物行检测精度的影响程度如何？
• RQ5 所提出的退出机动在最小化最终航向和位移偏差方面的有效性如何？

主要发现

• 所提方法在作物行检测中平均ϵ得分为90.25%，相较于基于颜色的基线方法性能提升37.66%。
• 行间空间中密集杂草和作物行的间断被识别为影响检测精度的最具挑战性田间条件。
• 视觉伺服控制器保持了稳定的导航，仿真中140帧内平均ϵ得分从69.76%提升至85.2%。
• 退出机动成功引导机器人离开作物行，最大最终航向偏差为4.55°，最大位移偏差为7.56 cm。
• 在20次试验中，平均最终航向偏差为1.89°，平均位移偏差为2.74 cm，表明退出执行具有高精度。
• 只要视觉伺服控制器能将机器人保持在作物行内，系统就能有效维持检测精度，减少航向摆动。