[论文解读] The iWildCam 2019 Challenge Dataset

Sara Beery, Dan Morris+1 more|arXiv (Cornell University)|Jul 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 18被引用 12

一句话总结

iWildCam 2019 挑战数据集通过在美洲西南部（Caltech Camera Traps）的相机陷阱数据上进行训练，并在来自美洲西北部（IDFG）的新未见数据集上进行测试，为评估野生动物图像分类中的零样本和少样本泛化能力提供了一个基准，同时辅以 iNaturalist 和合成的 TrapCam-AirSim 数据。一个简单的基线模型仅取得了 0.125 的宏平均 F1 分数，凸显了在真实野生动物监测中跨区域泛化的重大挑战。

ABSTRACT

Camera Traps (or Wild Cams) enable the automatic collection of large quantities of image data. Biologists all over the world use camera traps to monitor biodiversity and population density of animal species. The computer vision community has been making strides towards automating the species classification challenge in camera traps, but as we try to expand the scope of these models from specific regions where we have collected training data to different areas we are faced with an interesting problem: how do you classify a species in a new region that you may not have seen in previous training data? In order to tackle this problem, we have prepared a dataset and challenge where the training data and test data are from different regions, namely The American Southwest and the American Northwest. We use the Caltech Camera Traps dataset, collected from the American Southwest, as training data. We add a new dataset from the American Northwest, curated from data provided by the Idaho Department of Fish and Game (IDFG), as our test dataset. The test data has some class overlap with the training data, some species are found in both datasets, but there are both species seen during training that are not seen during test and vice versa. To help fill the gaps in the training species, we allow competitors to utilize transfer learning from two alternate domains: human-curated images from iNaturalist and synthetic images from Microsoft's TrapCam-AirSim simulation environment.

研究动机与目标

• 评估机器学习模型在训练数据中未包含的新地理区域和新物种情况下的泛化能力。
• 创建一个基准，用于测试野生动物相机陷阱图像分类中的零样本和少样本泛化能力。
• 提供来自爱达荷州（IDFG）的测试集，包含部分类别重叠和长尾分布，以模拟真实世界部署中的挑战。
• 支持从辅助领域（iNaturalist，即真实公民科学图像；以及 TrapCam-AirSim，即合成模拟）进行迁移学习，以提升泛化能力。
• 推动开发可扩展、实时的物种识别系统，用于全球生物多样性监测。

提出的方法

• 训练数据来自 Caltech Camera Traps (CCT) 数据集，包含来自美洲西南部 143 个地点的 292,732 张图像，标注为 14 种动物类别或“空”类别。
• 测试集来自爱达荷州鱼类和游戏部门（IDFG），包含来自爱达荷州 100 个地点的 153,730 张图像，涵盖 8 个类别，包括与训练类别部分重叠。
• 参赛者可使用来自 iNaturalist（2017 和 2018 年数据集）和微软的 TrapCam-AirSim 合成数据生成器的迁移学习，后者可模拟包含动植物的多样化自然环境。
• 基线模型使用 Inception-ResNet-V2 训练，在 CCT 和 iNat-Idaho 数据上进行微调，并采用数据增强（随机裁剪、翻转、颜色失真），学习率设为 0.0045，优化器为 RMSProp。
• 提供一个目标检测模型（Faster R-CNN，使用 Inception-ResNet-V2 作为主干网络），用于检测图像中的动物，每个图像提供前 100 个边界框及其置信度。
• 该挑战使用宏平均 F1 分数作为主要指标，以强调对稀有类别的性能表现，并鼓励提高召回率而非精确率。

实验结果

研究问题

• RQ1 在美洲西南部分训练的模型，能否在具有部分物种重叠的美洲西北部不同区域上实现良好泛化？
• RQ2 从 iNaturalist 和合成的 TrapCam-AirSim 数据进行迁移学习，在野生动物图像分类中的零样本和少样本泛化方面，能在多大程度上提升性能？
• RQ3 长尾类别分布和图像质量挑战（如模糊、遮挡、光照不足）如何影响模型在真实世界部署中的性能表现？
• RQ4 在真实世界相机陷阱数据上训练的模型，能否在训练集中未出现的未见物种上实现可接受的性能？
• RQ5 在区域特定数据上训练的模型与利用外部领域数据进行跨区域泛化的模型之间，性能差距有多大？

主要发现

• 基线模型在 Caltech Camera Traps 和 iNaturalist-Idaho 数据上使用标准数据增强和微调方法训练后，在 IDFG 测试集上仅取得了 0.125 的宏平均 F1 分数。
• 测试集包含来自爱达荷州 100 个地点的 153,730 张图像，涵盖 8 个类别（山狮、驼鹿、狼、黑熊、叉角羚、麋鹿、鹿、空），部分与训练集中的 14 个类别存在重叠。
• 训练数据在地点和物种之间分布不均，具有长尾分布特征，且由于图像质量差异和标注风格不一致，标注错误率最高可达 5%。
• iNaturalist 数据已映射到本挑战的类别分类体系中，并创建了一个经过筛选的“iNat-Idaho”子集，仅包含可能出现在爱达荷州的物种。
• TrapCam-AirSim 合成数据集被用于生成多样且逼真的相机陷阱风格图像，涵盖不同动物种类、背景和环境条件。
• 挑战结果表明，当前最先进模型在跨区域泛化方面仍存在显著困难，尤其是在遇到训练期间未见过的新物种时。