[论文解读] The iNaturalist Challenge 2017 Dataset

Grant Van Horn, Oisin Mac Aodha+5 more|arXiv (Cornell University)|Jul 20, 2017

Digital Imaging for Blood Diseases参考文献 30被引用 49

一句话总结

iNaturalist Challenge 2017 数据集引入了一个大规模、真实世界图像分类基准，包含超过 5,000 种植物和动物物种的 67.5 万张图像，强调极端类别不平衡、物种间视觉相似性以及多样的图像条件。最先进非集成模型的 top-1 准确率仅为 64%，凸显了该数据集的难度及其在推动鲁棒、真实世界计算机视觉系统方面的重要价值。

ABSTRACT

Existing image classification datasets used in computer vision tend to have an even number of images for each object category. In contrast, the natural world is heavily imbalanced, as some species are more abundant and easier to photograph than others. To encourage further progress in challenging real world conditions we present the iNaturalist Challenge 2017 dataset - an image classification benchmark consisting of 675,000 images with over 5,000 different species of plants and animals. It features many visually similar species, captured in a wide variety of situations, from all over the world. Images were collected with different camera types, have varying image quality, have been verified by multiple citizen scientists, and feature a large class imbalance. We discuss the collection of the dataset and present baseline results for state-of-the-art computer vision classification models. Results show that current non-ensemble based methods achieve only 64% top one classification accuracy, illustrating the difficulty of the dataset. Finally, we report results from a competition that was held with the data.

研究动机与目标

• 解决现有计算机视觉数据集假设类别分布均衡的局限性，因为这并不反映真实世界生态数据的实际情况。
• 创建一个大规模、真实的图像分类基准，以反映自然界中极端类别不平衡和视觉可变性的特征。
• 通过来自全球公民科学贡献的多样化、低质量且视觉相似的图像，挑战最先进模型的性能。
• 在图像质量各异和相机类型多样的真实世界条件下，评估深度学习模型的鲁棒性。
• 为长尾分布和细粒度视觉识别领域的研究进步提供标准化基准。

提出的方法

• 该数据集由通过 iNaturalist 平台贡献的公民科学家图像构建，确保了真实世界多样性与全球地理覆盖范围。
• 图像经过多名用户验证，以确保物种准确性，并减少误标数据带来的噪声。
• 数据集包含 675,000 张图像，涵盖 5,000 余种物种，类别分布高度倾斜，偏向常见物种。
• 图像使用多种相机类型在不同环境条件下采集，导致图像质量与光照条件存在显著差异。
• 基准测试包含标准的训练/验证/测试集划分，评估基于测试集的 top-1 和 top-5 准确率。
• 基线模型使用标准卷积神经网络（CNN）训练，未采用集成方法，以在真实约束条件下评估性能。

实验结果

研究问题

• RQ1 在大规模、长尾分布、真实世界场景下，且类别间具有高度视觉相似性时，最先进非集成图像分类模型的表现如何？
• RQ2 真实世界数据集中类别不平衡在多大程度上会降低标准深度学习模型的性能？
• RQ3 图像质量变化、相机类型差异以及环境条件变化如何影响模型在细粒度物种识别任务中的泛化能力？
• RQ4 在极端长尾分布的数据集中，单一模型能否在常见物种和稀有物种上均实现高准确率？
• RQ5 在具有真实世界约束的标准化基准上，通过竞赛驱动的创新能带来多大的性能提升？

主要发现

• 非集成的最先进模型在 iNaturalist Challenge 2017 数据集上的 top-1 准确率仅为 64%，表明仍有巨大改进空间。
• 数据集的极端类别不平衡严重损害了模型性能，特别是对稀有物种的预测能力持续偏低。
• 物种间的视觉相似性显著增加了细粒度分类的难度，即使对先进模型也是如此。
• 图像质量差异和多样的相机类型引入了噪声和伪影，对模型泛化能力造成了负面影响。
• 竞赛结果表明，集成方法和数据增强策略能显著提升性能，但即使顶尖模型在稀有类别上仍表现吃力。
• 该基准揭示了当前模型对真实世界数据分布的鲁棒性不足，凸显了改进长尾学习技术的迫切需求。