[论文解读] Spatial Monitoring and Insect Behavioural Analysis Using Computer Vision for Precision Pollination

Malika Nisal Ratnayake, Don Chathurika Amarathunga+3 more|arXiv (Cornell University)|May 10, 2022

Plant and animal studies被引用 5

一句话总结

本文提出了一种基于边缘计算的多点视频采集与深度学习相结合的计算机视觉系统，实现了在大范围农业区域对多种昆虫物种进行无标记、自动化的追踪与行为分析。该系统在商业覆盆子农场对四种昆虫品种的追踪中F-score均超过0.8，实现了精准的传粉影响评估，并为粮食安全提供数据驱动的管理支持。

ABSTRACT

Insects are the most important global pollinator of crops and play a key role in maintaining the sustainability of natural ecosystems. Insect pollination monitoring and management are therefore essential for improving crop production and food security. Computer vision facilitated pollinator monitoring can intensify data collection over what is feasible using manual approaches. The new data it generates may provide a detailed understanding of insect distributions and facilitate fine-grained analysis sufficient to predict their pollination efficacy and underpin precision pollination. Current computer vision facilitated insect tracking in complex outdoor environments is restricted in spatial coverage and often constrained to a single insect species. This limits its relevance to agriculture. Therefore, in this article we introduce a novel system to facilitate markerless data capture for insect counting, insect motion tracking, behaviour analysis and pollination prediction across large agricultural areas. Our system is comprised of edge computing multi-point video recording, offline automated multispecies insect counting, tracking and behavioural analysis. We implement and test our system on a commercial berry farm to demonstrate its capabilities. Our system successfully tracked four insect varieties, at nine monitoring stations within polytunnels, obtaining an F-score above 0.8 for each variety. The system enabled calculation of key metrics to assess the relative pollination impact of each insect variety. With this technological advancement, detailed, ongoing data collection for precision pollination becomes achievable. This is important to inform growers and apiarists managing crop pollination, as it allows data-driven decisions to be made to improve food production and food security.

研究动机与目标

• 为解决人工传粉者监测存在的耗时、人力密集且在追踪昆虫移动与分布方面功能性精度不足的局限性。
• 克服现有单物种、空间覆盖范围有限的计算机视觉系统在户外农业环境中应用的制约。
• 开发一种可扩展的无标记系统，实现在大范围农田区域对昆虫行为与空间分布进行连续、自动化的监测。
• 通过量化不同昆虫物种的传粉效率，实现数据驱动的精准传粉决策。
• 通过提供昆虫-花相互作用的高分辨率时空数据，支持粮食安全与生态系统可持续性。

提出的方法

• 在商业覆盆子农场的聚丙烯温室中部署基于边缘计算的多点视频采集系统，覆盖九个监测站。
• 利用深度学习模型实现无需标记或标签的自动化离线多物种昆虫计数、运动追踪与行为分析。
• 应用多目标追踪框架，以应对复杂动态户外环境中昆虫重叠与遮挡的问题。
• 整合空间与时间分析，绘制农场范围内昆虫分布与访花行为。
• 计算访问频率、持续时间与空间聚类等关键指标，以评估各昆虫物种的传粉影响。
• 通过F-score评估在四种昆虫品种上的系统性能，各项指标均超过0.8。

实验结果

研究问题

• RQ1 无标记或无标签的计算机视觉系统是否能在大规模农业环境中实现对多物种昆虫的精确追踪？
• RQ2 昆虫访花在空间与时间上的分布如何与商业覆盆子种植中的传粉效率相关联？
• RQ3 在真实农业环境中，不同昆虫物种对花朵受精的相对贡献如何？
• RQ4 基于运动模式与访花指标，自动化行为分析能否区分有效与无效传粉者？
• RQ5 此类系统在多大程度上可支持商业农业中的精准传粉与数据驱动管理？

主要发现

• 该系统在商业草莓农场的九个温室监测站中，对四种不同昆虫品种的追踪F-score均超过0.8。
• 发现蜜蜂是效率最高的传粉者，蜜蜂访花后67%的花朵达到或超过可靠传粉的标准。
• 其他传粉者在本研究地点效率较低，表明传粉效率存在物种特异性差异。
• 空间监测揭示了昆虫活动的显著分布模式，使农场管理者能够识别需针对性加强传粉的区域。
• 对昆虫数量的时间分析表明，可基于观察到的行为动态优化采样频率与持续时间。
• 该系统实现了对昆虫-花相互作用的详细、连续且可扩展的数据采集，超越了人工监测的能力。