[论文解读] Towards Self-Supervision for Video Identification of Individual Holstein-Friesian Cattle: The Cows2021 Dataset

Jing Gao, Tilo Burghardt+3 more|arXiv (Cornell University)|May 5, 2021

Food Supply Chain TraceabilityAgricultural and Biological Sciences被引用 18

一句话总结

本文引入了 Cows2021 数据集，这是迄今为止最大的身份标注的荷斯坦-弗里斯兰牛数据集，并提出了一种基于视频的个体牛只识别自监督框架。该方法利用视频间毛色图案的时间一致性，采用检测跟踪、旋转归一化的轨迹片段、数据增强以及帧三元组对比学习来学习度量嵌入空间，随后通过高斯混合模型聚类生成分类器，在训练过程中完全无需人工身份标注，实现了 57.0% 的 Top-1 准确率和 76.9% 的 Top-4 准确率。

ABSTRACT

In this paper we publish the largest identity-annotated Holstein-Friesian cattle dataset Cows2021 and a first self-supervision framework for video identification of individual animals. The dataset contains 10,402 RGB images with labels for localisation and identity as well as 301 videos from the same herd. The data shows top-down in-barn imagery, which captures the breed's individually distinctive black and white coat pattern. Motivated by the labelling burden involved in constructing visual cattle identification systems, we propose exploiting the temporal coat pattern appearance across videos as a self-supervision signal for animal identity learning. Using an individual-agnostic cattle detector that yields oriented bounding-boxes, rotation-normalised tracklets of individuals are formed via tracking-by-detection and enriched via augmentations. This produces a `positive' sample set per tracklet, which is paired against a `negative' set sampled from random cattle of other videos. Frame-triplet contrastive learning is then employed to construct a metric latent space. The fitting of a Gaussian Mixture Model to this space yields a cattle identity classifier. Results show an accuracy of Top-1 57.0% and Top-4: 76.9% and an Adjusted Rand Index: 0.53 compared to the ground truth. Whilst supervised training surpasses this benchmark by a large margin, we conclude that self-supervision can nevertheless play a highly effective role in speeding up labelling efforts when initially constructing supervision information. We provide all data and full source code alongside an analysis and evaluation of the system.

研究动机与目标

• 通过利用自监督学习，减少训练视觉牛只识别系统时的高标注负担。
• 创建并发布迄今为止最大的荷斯坦-弗里斯兰牛身份标注数据集，以供研究使用。
• 开发一种方法，利用跨视频的时间毛色图案一致性作为自监督信号，实现动物身份学习。
• 评估在真实世界视频环境中，自监督表示学习在牛只生物特征识别中的可行性。
• 提供一个工具链，可在生产级牛只身份识别系统中加速人工标注。

提出的方法

• 个体无关的牛只检测器从 RGB 视频帧中生成定向边界框，用于在俯视牛棚图像中定位牛只。
• 通过检测跟踪形成轨迹片段，随后对轨迹片段进行尺度和方向归一化，以生成一致的视觉表示。
• 对每个轨迹片段应用数据增强，以丰富正样本集，提升对外观变化的鲁棒性。
• 使用帧三元组对比学习训练度量嵌入空间，其中每个锚点为轨迹片段中的一帧，正样本为同一轨迹片段中的其他帧，负样本则从不同视频中采样。
• 将高斯混合模型（GMM）拟合到学习到的潜在空间，对嵌入进行聚类并分配身份标签，将每个聚类视为潜在的身份。
• 使用 Top-N 准确率和调整兰德指数（ARI）对系统进行评估，身份分配基于聚类重叠分析得出。

实验结果

研究问题

• RQ1 视频间毛色图案外观的时间一致性能否作为牛只身份学习的有效自监督信号？
• RQ2 自监督表示学习在多大程度上可以减少牛只识别系统中的人工标注需求？
• RQ3 在训练过程中无任何身份标签的情况下，基于对比学习与 GMM 聚类的框架在大规模牛只重识别基准上的表现如何？
• RQ4 所提出的方法能否生成一个按置信度排序的候选身份列表，以辅助实际部署中的人工标注？
• RQ5 与完全监督方法相比，自监督学习在生物特征牛只识别中的性能上限是什么？

主要发现

• 所提出的自监督框架在测试集上实现了 57.0% 的 Top-1 准确率和 76.9% 的 Top-4 准确率，证明了其在减少标注工作量方面的强大可行性。
• 调整兰德指数（ARI）为 0.53，表明 GMM 聚类结果与真实身份分配之间具有有意义的结构相似性。
• 该方法能够生成一个按置信度排序的候选身份列表，其中有 76.9% 的概率在前四位建议中包含正确身份。
• 尽管训练过程中未使用任何人工身份标注，系统仍能生成可用的分类器，显著加速生产流水线中的人工标注流程。
• 结果表明，自监督学习能够有效启动视觉牛只识别系统，尤其在后续进行开放集微调时效果更佳。
• Cows2021 数据集包含 10,402 张标注图像和来自 182 头可识别荷斯坦-弗里斯兰牛的 301 段视频，是迄今为止最大的公开此类数据集。