[论文解读] WildlifeDatasets: An open-source toolkit for animal re-identification

Vojtěch Čermák, Lukáš Picek+2 more|arXiv (Cornell University)|Nov 15, 2023

Identification and Quantification in Food被引用 4

一句话总结

本论文介绍了 WildlifeDatasets，这是一个用于野生动物重识别的开源 Python 工具包，可标准化访问 29 个公开数据集，支持本地方法与深度学习方法的基准测试，并引入了基于 Swin 架构训练的新型基础模型 MegaDescriptor。MegaDescriptor 在各类物种中均达到最先进性能，显著优于 CLIP 和 DINOv2，在最大变体（L-384）下，AAUZebraFish 上达到 99.93% 的准确率，HyenaID2022 上达到 78.41%。

ABSTRACT

In this paper, we present WildlifeDatasets (https://github.com/WildlifeDatasets/wildlife-datasets) - an open-source toolkit intended primarily for ecologists and computer-vision / machine-learning researchers. The WildlifeDatasets is written in Python, allows straightforward access to publicly available wildlife datasets, and provides a wide variety of methods for dataset pre-processing, performance analysis, and model fine-tuning. We showcase the toolkit in various scenarios and baseline experiments, including, to the best of our knowledge, the most comprehensive experimental comparison of datasets and methods for wildlife re-identification, including both local descriptors and deep learning approaches. Furthermore, we provide the first-ever foundation model for individual re-identification within a wide range of species - MegaDescriptor - that provides state-of-the-art performance on animal re-identification datasets and outperforms other pre-trained models such as CLIP and DINOv2 by a significant margin. To make the model available to the general public and to allow easy integration with any existing wildlife monitoring applications, we provide multiple MegaDescriptor flavors (i.e., Small, Medium, and Large) through the HuggingFace hub (https://huggingface.co/BVRA).

研究动机与目标

• 解决生态学与计算机视觉研究中野生动物重识别方法、数据集与评估指标缺乏标准化的问题。
• 为本地描述符、深度学习模型与迁移学习方法在动物重识别中的比较，提供统一且可复现的框架。
• 使研究人员能够通过一致的预处理、评估与微调流程，在多样化物种与数据集上对模型进行基准测试。
• 开发并发布一个基础模型 MegaDescriptor，该模型在精选数据集上进行训练，作为跨物种重识别的强基线。
• 通过 HuggingFace Hub 提供预训练的 MegaDescriptor 变体，促进其在真实野生动物监测系统中的集成。

提出的方法

• 实现一个模块化 Python 工具包，为 29 个公开可用的野生动物重识别数据集提供标准化访问，包括元数据、划分与预处理工具。
• 支持多种重识别范式：本地特征描述符（如 SIFT、ORB）、深度度量学习，以及视觉变换器的微调。
• 引入 MegaDescriptor，一种基于 Swin 变压器架构（Swin-T、Swin-S、Swin-B、Swin-L）的基础模型，其在涵盖 29 个物种的大型精选个体动物数据集上进行预训练。
• 采用对比学习与实例判别方法训练 MegaDescriptor，优化跨多样化动物图案与标记的判别性表征学习。
• 提供多种模型变体（小型、中型、大型），支持不同输入分辨率（224px 与 384px），以灵活权衡准确率与推理速度。
• 将所有预训练的 MegaDescriptor 模型托管于 HuggingFace Hubs，便于部署与集成到现有野生动物监测流水线中。

实验结果

研究问题

• RQ1 在广泛范围的野生动物重识别数据集与物种中，本地描述符与深度学习模型的性能表现如何比较？
• RQ2 模型大小与输入分辨率对多样化动物物种重识别准确率的影响如何？
• RQ3 单一基础模型能否在视觉模式与数据质量差异较大的多种物种上实现有效泛化？
• RQ4 在零样本与微调设置下，MegaDescriptor 与 CLIP 和 DINOv2 等成熟基础模型相比表现如何？
• RQ5 现有数据集中存在的数据泄露与不良数据整理在多大程度上夸大了报告性能？如何通过方法缓解这一问题？

主要发现

• MegaDescriptor-L-384 实现了最先进性能，在 AAUZebraFish 上达到 99.93% 准确率，StripeSpotter 上为 98.17%，HyenaID2022 上为 78.41%。
• 最大变体（L-384）相比更小变体显著领先，FriesianCattle2017 上提升最高达 2.53%，LeopardID2022 上提升 0.48%。
• MegaDescriptor 显著超越 CLIP 与 DINOv2，尤其在 HumpbackWhaleID（77.81% vs. 51.83% for DINOv2）与 HappyWhale（34.30% vs. 20.07% for CLIP）等挑战性数据集上表现突出。
• 消融研究证实，模型大小与输入分辨率与性能强相关，MegaDescriptor-L-384 在全部 29 个数据集上均持续优于更小变体。
• 该工具包实现了跨数据集的一致评估，揭示了众多现有基准存在数据泄露与性能虚高问题，而该工具包通过标准化划分有效缓解了这些问题。
• 最大变体（L-384）在 AerialCattle2017、OpenCows2020 与 SMALST 上均达到 100% 准确率，展现出在高质量、图案丰富的数据集上的强大泛化能力。