[论文解读] SeaTurtleID2022: A long-span dataset for reliable sea turtle re-identification

Lukáš Adam, Vojtěch Čermák+2 more|arXiv (Cornell University)|Nov 18, 2022

Turtle Biology and Conservation被引用 5

一句话总结

本文介绍了 SeaTurtleID2022，这是一个大规模、长达12年（2010–2021）的海龟照片数据集，包含7,774张高分辨率图像并附带完整时间戳，支持对重识别方法进行时间感知评估。作者证明，与时间感知划分相比，随机划分会使性能估计过高超过100%，表明时间戳在野生动物重识别中实现无偏、现实的基准测试至关重要。

ABSTRACT

This paper introduces the first public large-scale, long-span dataset with sea turtle photographs captured in the wild -- \href{https://www.kaggle.com/datasets/wildlifedatasets/seaturtleid2022}{SeaTurtleID2022}. The dataset contains 8729 photographs of 438 unique individuals collected within 13 years, making it the longest-spanned dataset for animal re-identification. All photographs include various annotations, e.g., identity, encounter timestamp, and body parts segmentation masks. Instead of standard "random" splits, the dataset allows for two realistic and ecologically motivated splits: (i) a extit{time-aware closed-set} with training, validation, and test data from different days/years, and (ii) a extit{time-aware open-set} with new unknown individuals in test and validation sets. We show that time-aware splits are essential for benchmarking re-identification methods, as random splits lead to performance overestimation. Furthermore, a baseline instance segmentation and re-identification performance over various body parts is provided. Finally, an end-to-end system for sea turtle re-identification is proposed and evaluated. The proposed system based on Hybrid Task Cascade for head instance segmentation and ArcFace-trained feature-extractor achieved an accuracy of 86.8\%.

研究动机与目标

• 解决缺乏长期跨度、带时间戳的野生动物数据集的问题，以实现可靠的重识别基准测试。
• 强调时间戳在实现真实、时间感知的数据划分方面对评估动物重识别方法的关键作用。
• 证明与时间感知划分相比，随机（时间无关）划分会导致重识别模型性能显著高估。
• 倡导在野生动物数据集元数据中包含时间戳，以确保方法评估能反映现实世界部署场景。
• 建立 SeaTurtleID 作为具有纵向数据的闭集和开集重识别任务的基准。

提出的方法

• 在12年（2010–2021）间收集400只独特的北大西洋海龟的7,774张高分辨率照片，共涉及1,081次观测。
• 包含丰富的元数据：身份标签、头部分割掩码以及每张图像的精确时间戳。
• 实施两种评估划分方式：时间截断划分（例如，2016年作为查询集，2010–2015年作为参考集）和随机（非时间）划分。
• 在两种划分类型下评估基于特征和基于CNN的重识别模型，以比较性能偏差。
• 分析随时间间隔增加，同一动物图像对的匹配概率，以评估模型随时间的鲁棒性。
• 采用开集评估方法，评估新个体的检测能力，比较时间感知与随机划分下的误报率。

实验结果

研究问题

• RQ1 时间戳的引入如何影响重识别方法评估的可靠性？
• RQ2 与时间感知划分相比，随机数据划分在多大程度上高估了重识别模型的性能？
• RQ3 当匹配相隔数年的同一动物图像时，重识别模型的性能如何退化？
• RQ4 时间感知划分与随机划分对开集重识别中新个体检测的影响是什么？
• RQ5 不同深度学习主干网络在 SeaTurtleID 数据集的时间感知与随机划分下的表现如何？

主要发现

• 与随机划分相比，时间感知划分（例如，2016年作为查询集，2010–2015年作为参考集）导致性能显著下降，某些情况下性能高估超过100%。
• 对于基于特征的方法，时间截断划分下的准确率为38.6%（ResNeXt-50），而随机划分下为63.4%，表明性能高估了24.8个百分点。
• ViT-Base/p32 主干网络在时间截断划分下的准确率为45.2%，而在随机划分下达到82.5%，性能高估达37.3个百分点。
• 同一动物、相同朝向的图像对匹配概率从同一天的53.5%下降至相隔一年以上的2.5%，表明存在强烈的时间退化效应。
• 在开集评估中，随机划分产生的误报率显著低于时间感知划分，证实随机划分不具现实性且对时间因素过拟合。
• 在30个现有公开野生动物数据集中，仅有两个数据集具备完整时间戳，且大多数数据集跨度较短，凸显 SeaTurtleID 12年跨度与100%时间戳覆盖率的创新性与重要性。