[论文解读] Systematic Literature Review of Vision-Based Approaches to Outdoor Livestock Monitoring with Lessons from Wildlife Studies

Stacey D. Scott, Zayn J. Abbas+7 more|arXiv (Cornell University)|Oct 7, 2024

Wildlife Ecology and ConservationEnvironmental Science被引用 3

一句话总结

本篇系统性文献回顾分析了用于户外牲畜监测的基于视觉的计算机视觉方法，借鉴野生动物研究以应对大规模非结构化环境中的挑战。研究发现深度学习是动物检测、计数及多物种分类的主导方法，同时指出了精准畜牧养殖中开放的技术挑战与未来研究方向。

ABSTRACT

Precision livestock farming (PLF) aims to improve the health and welfare of livestock animals and farming outcomes through the use of advanced technologies. Computer vision, combined with recent advances in machine learning and deep learning artificial intelligence approaches, offers a possible solution to the PLF ideal of 24/7 livestock monitoring that helps facilitate early detection of animal health and welfare issues. However, a significant number of livestock species are raised in large outdoor habitats that pose technological challenges for computer vision approaches. This review provides a comprehensive overview of computer vision methods and open challenges in outdoor animal monitoring. We include research from both the livestock and wildlife fields in the review because of the similarities in appearance, behaviour, and habitat for many livestock and wildlife. We focus on large terrestrial mammals, such as cattle, horses, deer, goats, sheep, koalas, giraffes, and elephants. We use an image processing pipeline to frame our discussion and highlight the current capabilities and open technical challenges at each stage of the pipeline. The review found a clear trend towards the use of deep learning approaches for animal detection, counting, and multi-species classification. We discuss in detail the applicability of current vision-based methods to PLF contexts and promising directions for future research.

研究动机与目标

• 识别并分析用于在大规模非结构化环境中进行户外牲畜监测的计算机视觉方法。
• 探讨野生动物监测技术在牲畜场景中的适用性，因其在外观、行为和栖息地方面存在共同挑战。
• 梳理图像处理流水线各阶段（检测、计数、分类与跟踪）的当前技术水平。
• 识别基于视觉的牲畜监测系统中的开放技术挑战与研究空白。
• 为利用视觉技术的精准畜牧养殖（PLF）提供可操作的见解与未来研究方向。

提出的方法

• 开展系统性文献回顾，聚焦于在畜牧与野生动物背景下，应用于大型陆生动植物户外监测的计算机视觉方法。
• 采用图像处理流水线框架，对检测、计数、分类与跟踪等关键阶段的方法进行分类与分析。
• 从畜牧与野生动物研究中筛选并审查281篇论文，以识别视觉监测中的趋势、技术与局限性。
• 重点关注基于深度学习的模型，特别是卷积神经网络（CNNs）与基于Transformer的架构，在目标检测与分类中的应用。
• 评估各研究中的方法论选择、数据集特征与性能指标，以衡量其鲁棒性与泛化能力。
• 将研究发现整合为对外部动物监测中技术挑战与未来研究机遇的结构化分析。

实验结果

研究问题

• RQ1 用于户外牲畜监测的主导计算机视觉技术是什么？其与野生动物研究中所用技术相比有何异同？
• RQ2 野生动物监测方法在多大程度上可被适配用于户外环境下的精准畜牧养殖？
• RQ3 在真实户外条件下，动物检测、计数与分类面临的关键技术挑战有哪些？
• RQ4 当前基于视觉的系统在大型非结构化栖息地中，对不同物种与环境条件下的表现如何？
• RQ5 在提升基于视觉的牲畜监测系统鲁棒性与可扩展性方面，最具前景的研究方向是什么？

主要发现

• 深度学习模型，特别是CNNs与基于Transformer的架构，是户外环境中动物检测、计数及多物种分类的主导方法。
• 观察到向端到端学习框架发展的明确趋势，该框架整合了检测与分割，从而在复杂户外场景中提升了准确性。
• 遮挡、光照变化以及植被的季节性变化等挑战显著影响模型性能，尤其在密集或动态环境中。
• 多物种分类仍具挑战，原因在于物种间视觉相似性高，且针对多样化户外牲畜物种的标注数据集有限。
• 野生动物监测研究提供了宝贵的可借鉴方法论——如迁移学习与域适应——可被用于改进牲畜监测系统。
• 尽管已有进展，但极少研究在长期真实户外条件下验证系统性能，凸显了在鲁棒性与可扩展性测试方面的研究空白。