[论文解读] Segmentation Enhanced Lameness Detection in Dairy Cows from RGB and Depth Video

Eric Arazo, Robin Aly+1 more|arXiv (Cornell University)|Jun 9, 2022

Animal Behavior and Welfare Studies被引用 4

一句话总结

本论文提出了一种基于RGB和深度视频的分割增强跛行检测系统，利用在掩码牛体区域上微调的预训练SlowFast网络，以提升检测精度。通过将原始视频输入替换为二值分割掩码，该方法将侧视检测准确率从61.76%提升至84.56%，表明聚焦于牛体结构可显著提升跛行分类性能。

ABSTRACT

Cow lameness is a severe condition that affects the life cycle and life quality of dairy cows and results in considerable economic losses. Early lameness detection helps farmers address illnesses early and avoid negative effects caused by the degeneration of cows' condition. We collected a dataset of short clips of cows passing through a hallway exiting a milking station and annotated the degree of lameness of the cows. This paper explores the resulting dataset and provides a detailed description of the data collection process. Additionally, we proposed a lameness detection method that leverages pre-trained neural networks to extract discriminative features from videos and assign a binary score to each cow indicating its condition: "healthy" or "lame." We improve this approach by forcing the model to focus on the structure of the cow, which we achieve by substituting the RGB videos with binary segmentation masks predicted with a trained segmentation model. This work aims to encourage research and provide insights into the applicability of computer vision models for cow lameness detection on farms.

研究动机与目标

• 解决奶牛早期跛行检测的挑战，以减少经济损失和福利问题。
• 通过开发一种自动化、基于计算机视觉的解决方案，克服人工跛行评分中的主观性和对专家的依赖。
• 研究摄像头位置、输入特征和类别不平衡对跛行检测性能的影响。
• 通过使用分割掩码强制模型关注牛体结构，提升模型鲁棒性。
• 提供公开可获取的数据集和方法，以促进农场计算机视觉应用的进一步研究。

提出的方法

• 使用Intel Realsense D435摄像头采集1,733段奶牛视频片段，涵盖侧视和顶视视角，并结合RFID奶牛识别技术。
• 通过HUE色彩空间编码将深度视频转换为RGB格式，以实现与RGB输入的视觉一致性。
• 训练语义分割模型以生成牛的二值掩码，将动物从背景杂波中分离。
• 应用SlowFast 3D卷积神经网络从视频输入中提取时空特征，同时处理RGB和掩码视频流。
• 将慢速路径和快速路径的特征进行拼接（总维度为2304），以提升表征学习能力。
• 使用ReLU和Softmax激活函数的三层分类器，采用Adam优化器和交叉熵损失函数，预测‘健康’或‘跛行’类别。

实验结果

研究问题

• RQ1 摄像头位置（侧视与顶视）如何影响跛行检测的准确率？
• RQ2 使用原始RGB、深度或分割掩码视频输入对分类性能有何影响？
• RQ3 对视频输入应用分割掩码如何改善特征学习和模型泛化能力？
• RQ4 由于健康牛只占主导，类别不平衡在多大程度上影响模型性能，又该如何缓解？
• RQ5 深度图预处理的计算成本是多少，其对农场实时部署有何影响？

主要发现

• 在使用RGB输入的分割掩码时，侧视记录的准确率显著更高（84.56%），而顶视仅为75.00%。
• 与原始RGB视频相比，分割掩码使侧视准确率提升了22.8个百分点（从61.76%提升至84.56%）。
• 对于深度视频输入，掩码处理使侧视准确率从63.23%提升至75.00%，但在顶视设置中性能下降。
• 在侧视中使用分割掩码后，'跛行'类别的召回率从27%提升至80%，表明对严重病例的检测能力增强。
• 在侧视中使用掩码RGB输入后，'跛行'类别的精确率提升至82%，表明误报率降低。
• 深度图的HUE编码计算成本较高，被识别为实时农场部署的瓶颈。