[论文解读] Multispecies Animal Re-ID Using a Large Community-Curated Dataset

Lasha Otarashvili, Tamilselvan Subramanian+3 more|arXiv (Cornell University)|Dec 7, 2024

Identification and Quantification in FoodBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

该论文提出 MiewID，一种基于大规模、社区共建数据集（涵盖49个物种类别、37,138个个体和225,374张图像）的多物种类动物重识别模型，采用 EfficientNetV2 作为骨干网络，并结合具有动态边缘的子中心 ArcFace 损失。该模型相比单物种类模型平均提升12.5%的 top-1 准确率，且在未见物种类别上的表现显著优于 MegaDescriptor，在33个物种类别上平均提升19.2%的 top-1 准确率。

ABSTRACT

Recent work has established the ecological importance of developing algorithms for identifying animals individually from images. Typically, a separate algorithm is trained for each species, a natural step but one that creates significant barriers to wide-spread use: (1) each effort is expensive, requiring data collection, data curation, and model training, deployment, and maintenance, (2) there is little training data for many species, and (3) commonalities in appearance across species are not exploited. We propose an alternative approach focused on training multi-species individual identification (re-id) models. We construct a dataset that includes 49 species, 37K individual animals, and 225K images, using this data to train a single embedding network for all species. Our model employs an EfficientNetV2 backbone and a sub-center ArcFace loss function with dynamic margins. We evaluate the performance of this multispecies model in several ways. Most notably, we demonstrate that it consistently outperforms models trained separately on each species, achieving an average gain of 12.5% in top-1 accuracy. Furthermore, the model demonstrates strong zero-shot performance and fine-tuning capabilities for new species with limited training data, enabling effective curation of new species through both incremental addition of data to the training set and fine-tuning without the original data. Additionally, our model surpasses the recent MegaDescriptor on unseen species, averaging an 19.2% top-1 improvement per species and showing gains across all 33 species tested. The fully-featured code repository is publicly available on GitHub, and the feature extractor model can be accessed on HuggingFace for seamless integration with wildlife re-identification pipelines. The model is already in production use for 60+ species in a large-scale wildlife monitoring system.

研究动机与目标

• 为解决为每种动物物种类别分别训练重识别模型所带来的高成本与可扩展性障碍，尤其是针对数据稀缺的物种类别。
• 探究在多个物种类别上联合训练单一模型是否能优于针对特定物种类别的模型。
• 评估该模型在新出现的、未见过的物种类别上的零样本泛化能力与微调性能，尤其在训练数据有限的情况下。
• 通过减少对每种物种类别重新训练和部署模型的需求，实现高效、大规模的野生动物监测。

提出的方法

• 构建了一个大规模、由社区维护的多物种类数据集，涵盖49个物种类别、37,138个个体和225,374张来自59个不同数据集的标注图像。
• 使用 EfficientNetV2-M 作为骨干网络，并结合具有动态边缘的子中心 ArcFace 损失，训练单一嵌入网络，以增强类间与类内区分能力。
• 通过在未见物种类别上进行零样本推理，以及在新物种类别上使用有限数据进行微调，评估模型性能，并与单物种类别训练基线进行比较。
• 在33个未见物种类别上与近期的 MegaDescriptor 模型进行性能对比，以评估泛化能力与鲁棒性。
• 通过比较 EfficientNetV2-M 与 SwinV2-Base 的表现，探索骨干网络的效率，结果表明 EfficientNetV2-M 在此任务中表现更优。
• 已在 GitHub 上发布完整代码库，并在 HuggingFace 上公开模型权重，便于集成至野生动物监测工作流中。

Figure 1 : Comparison of top-1 performance of multi-species and single-species models. Species are ordered by increasing numbers of sightings.

实验结果

研究问题

• RQ1 在多个物种类别上联合训练单一模型是否能获得优于为每种物种类别单独训练模型的性能？
• RQ2 多物种类模型在训练过程中未见过的物种类别上泛化能力如何，尤其是在数据极少的情况下？
• RQ3 该模型是否能通过少量标注图像（如25–200张）在新物种类别上实现有效微调？
• RQ4 将新物种类别的数据直接整合到现有多物种类模型训练集中，是否优于仅进行微调或从头重新训练？
• RQ5 骨干网络架构的选择（如 EfficientNetV2 与视觉 Transformer）对多物种类动物重识别性能有何影响？

主要发现

• 多物种类 MiewID 模型相比单物种类模型平均提升12.5%的 top-1 准确率，各物种类别提升幅度在 -0.2% 至 77.3% 之间。
• 在33个未见物种类别上，MiewID 的 top-1 准确率平均比 MegaDescriptor 提升19.2%，展现出强大的零样本泛化能力。
• 在新物种类别上使用有限数据（如25–200张图像）对 MiewID 进行微调，性能可与单物种类别训练相当甚至更优，尤其在小样本数据集上表现突出。
• 将新物种类别的数据直接加入多物种类训练集，其结果始终优于仅进行微调。
• EfficientNetV2-M 骨干网络相比 SwinV2-Base 平均提升4.5%的 top-1 准确率，表明其在该任务中具有更优的特征学习能力。
• 该模型已在 Wildbook 野生动物监测系统中实际部署，服务于超过60个物种类别，证明了其在真实场景下的可扩展性与实用性。

Figure 2 : Top-5 performance comparison per species for model trained on the full dataset and model trained on all species except the test species