[论文解读] Overview of LifeCLEF Plant Identification task 2019: diving into data deficient tropical countries

Hervé Goëau, Pierre Bonnet+1 more|Agritrop (Cirad)|Sep 23, 2025

Species Distribution and Climate Change参考文献 1被引用 23

一句话总结

LifeCLEF 2019 植物识别挑战在数据匮乏的热带植物上评估自动植物识别，使用 10k-species 训练集和 742 项现场测试集，将 26 个 DL 系统分成 6 个队伍与人类专家进行比较；结果显示深度学习落后于专家，热带植物尤为困难。

ABSTRACT

Automated identification of plants has improved considerably thanks to the recent progress in deep learning and the availability of training data. However, this profusion of data only concerns a few tens of thousands of species, while the planet has nearly 369K. The LifeCLEF 2019 Plant Identification challenge (or "PlantCLEF 2019") was designed to evaluate automated identification on the flora of data deficient regions. It is based on a dataset of 10K species mainly focused on the Guiana shield and the Northern Amazon rainforest, an area known to have one of the greatest diversity of plants and animals in the world. As in the previous edition, a comparison of the performance of the systems evaluated with the best tropical flora experts was carried out. This paper presents the resources and assessments of the challenge, summarizes the approaches and systems employed by the participating research groups, and provides an analysis of the main outcomes.

研究动机与目标

• 评估在热带、数据匮乏植物区域（圭亚那地盾与北部亚马逊）使用全新 10k-species 训练数据集的自动植物识别性能。
• 将自动系统的性能与热带植物专家在现场识别的测试集进行比较。
• 分析数据质量、噪声效应以及来自标本图像等数据源的潜在收益。

提出的方法

• 汇集来自 EoL 与网络资源的 10k 物种训练集，记录噪声与重复项。
• 提供用于评估的高质量 742 项现场识别测试集。
• 对每个团队进行最多 10 次运行评估，使用 Top1、Top3、Top5 及 MRR 指标，与 5 位专家标注对比。
• 总结参与方法，重点强调 CNN 架构（如 Inception-ResNet-v2/v4、DenseNet）与数据增强。
• 将系统性能与人类专家进行比较，并分析训练数据数量与噪声的影响。

Figure 1: Regions of origin of the 10k species selected for PlantCLEF 2019: French Guiana, Suriname, Guyana, Brazil (states of Amapa, Para, Amazonas)

实验结果

研究问题

• RQ1 自动植物识别在数据匮乏的热带植物上与热带植物专家相比的表现如何？
• RQ2 训练数据质量与噪声（重复项、非植物图像、标本绘图等）对 DL 性能有何影响？
• RQ3 在使用大量、带噪声但多样化的数据集训练时，深度学习系统是否能够缩小与专家之间的差距？
• RQ4 数据增强、类别先验、以及额外训练数据（如 GBIF）对系统性能有何作用？
• RQ5 标本数据是否是改善数据贫乏热带地区识别的可行路径？

主要发现

• DL 系统在测试集上的表现显著逊于热带植物专家中的最佳者（Top1 专家最高可达 0.675；中位数 0.376）。
• 热带植物任务比温带植物更具挑战性，专家的最高表现较低，且与机器预测之间存在更大差距。
• 最优自动化系统大约只有顶尖专家的一半精确度，在 Top1 与专家相比的差距约为 0.365。
• 噪声与数据质量（重复项、非植物图像）对性能影响显著，尤其是对训练图像较少的物种；标本/绘图的影响尚无定论。
• 通过标本记录（GBIF/标本数字化）扩展训练数据显示潜在收益，经事后评估纠错提交的 Top-1 准确率达到 41%。
• 补充分析显示，训练图像数量的增加通常提高平均排名，而高比例的重复项会恶化结果。

Figure 2: Scores between Experts and Machine