[论文解读] Robust Fruit Counting: Combining Deep Learning, Tracking, and Structure from Motion

Xu Liu, Steven W. Chen+7 more|arXiv (Cornell University)|Apr 1, 2018

Smart Agriculture and AI被引用 12

一句话总结

本文提出了一种新颖的果实计数流程，结合基于深度学习的分割、基于卡尔曼滤波的KLT跟踪器进行帧间跟踪，以及通过运动结构（SfM）实现的3D定位，以纠正跟踪误差并提高准确性。该方法显著减少了因遮挡和光照变化导致的过计数，分别在橙子和苹果数据集上实现了203的L1误差和3.3%的平均误差，并在非结构化条件下显著提升了鲁棒性。

ABSTRACT

We present a novel fruit counting pipeline that combines deep segmentation, frame to frame tracking, and 3D localization to accurately count visible fruits across a sequence of images. Our pipeline works on image streams from a monocular camera, both in natural light, as well as with controlled illumination at night. We first train a Fully Convolutional Network (FCN) and segment video frame images into fruit and non-fruit pixels. We then track fruits across frames using the Hungarian Algorithm where the objective cost is determined from a Kalman Filter corrected Kanade-Lucas-Tomasi (KLT) Tracker. In order to correct the estimated count from tracking process, we combine tracking results with a Structure from Motion (SfM) algorithm to calculate relative 3D locations and size estimates to reject outliers and double counted fruit tracks. We evaluate our algorithm by comparing with ground-truth human-annotated visual counts. Our results demonstrate that our pipeline is able to accurately and reliably count fruits across image sequences, and the correction step can significantly improve the counting accuracy and robustness. Although discussed in the context of fruit counting, our work can extend to detection, tracking, and counting of a variety of other stationary features of interest such as leaf-spots, wilt, and blossom.

研究动机与目标

• 解决在光照变化、遮挡和深度变化显著的非结构化果园环境中实现精准果实计数的挑战。
• 开发一种鲁棒的流程，将单幅图像的果实检测扩展至视频序列，结合深度学习与3D重建技术。
• 通过3D定位与尺寸估计，减少因跟踪误差导致的过计数与误报。
• 在具有自然光照与复杂树冠结构的真实世界数据集上评估该方法。
• 仅使用单目相机数据，实现在低资源农业环境中的实际部署。

提出的方法

• 训练全卷积网络（FCN）以利用人工标注的真值，将每帧图像分割为果实与非果实像素。
• 通过基于卡尔曼滤波校正的KLT跟踪器计算目标代价，并使用匈牙利算法在帧间执行果实跟踪。
• 对检测到的果实区域附近的SIFT特征应用运动结构（SfM），以估计果实的3D位置与相对尺寸。
• 利用3D定位与尺寸估计结果，剔除异常轨迹，并在最终计数中纠正重复计数的果实。
• 校正步骤利用空间一致性与尺寸分布特性，提升跟踪的可靠性。
• 该流程在两个数据集上进行评估：在高遮挡与深度变化的自然日光条件下采集的橙子数据集，以及在受控夜间光照条件下采集的苹果数据集。

实验结果

研究问题

• RQ1 基于深度学习的分割模型是否能提升复杂非结构化果园环境中果实检测的准确性？
• RQ2 结合检测跟踪、卡尔曼滤波校正的KLT跟踪器与匈牙利分配算法，在图像序列中减少跟踪误差的效果如何？
• RQ3 通过SfM实现的3D定位在多大程度上能通过剔除误报与纠正重复计数轨迹来提升果实计数的准确性？
• RQ4 在自然光照与高遮挡等变化环境下，校正步骤的表现如何？
• RQ5 该流程是否能泛化至不同种类的果实，并仅使用单目相机数据在低资源农业环境中部署？

主要发现

• 在包含高遮挡、深度变化与自然光照的橙子数据集中，该流程实现了203的L1误差与-0.2%的平均误差。
• 在苹果数据集中，未经校正的模型L1误差为673，平均误差为8.5%，经校正后分别降低至322与3.3%。
• 苹果数据集上的误差标准差从4.7%降至4.1%，表明结果一致性得到提升。
• 由于环境变化更大，校正步骤在橙子数据集上效果更显著，证明了其在非结构化环境中的鲁棒性。
• 3D定位与尺寸估计步骤通过剔除异常值与纠正重复计数轨迹，显著提升了准确性。
• 该方法在高遮挡、自然光照条件（橙子）与高颜色相似性、受控光照条件（苹果）下均表现有效，显示出广泛适用性。