[论文解读] Plant identification based on noisy web data: the amazing performance of deep learning (LifeCLEF 2017)

Hervé Goëau, Pierre Bonnet+1 more|ArXiv.org|Sep 25, 2025

Smart Agriculture and AI参考文献 6被引用 55

一句话总结

本论文分析 LifeCLEF 2017 的植物识别，比较可信数据（EOL）与嘈杂网络数据，结果显示用嘈杂数据训练的 CNN 也能取得很高性能，集成模型优于单模型。

ABSTRACT

The 2017-th edition of the LifeCLEF plant identification challenge is an important milestone towards automated plant identification systems working at the scale of continental floras with 10.000 plant species living mainly in Europe and North America illustrated by a total of 1.1M images. Nowadays, such ambitious systems are enabled thanks to the conjunction of the dazzling recent progress in image classification with deep learning and several outstanding international initiatives, such as the Encyclopedia of Life (EOL), aggregating the visual knowledge on plant species coming from the main national botany institutes. However, despite all these efforts the majority of the plant species still remain without pictures or are poorly illustrated. Outside the institutional channels, a much larger number of plant pictures are available and spread on the web through botanist blogs, plant lovers web-pages, image hosting websites and on-line plant retailers. The LifeCLEF 2017 plant challenge presented in this paper aimed at evaluating to what extent a large noisy training dataset collected through the web and containing a lot of labelling errors can compete with a smaller but trusted training dataset checked by experts. To fairly compare both training strategies, the test dataset was created from a third data source, i.e. the Pl@ntNet mobile application that collects millions of plant image queries all over the world. This paper presents more precisely the resources and assessments of the challenge, summarizes the approaches and systems employed by the participating research groups, and provides an analysis of the main outcomes.

研究动机与目标

• 评估嘈杂网络数据是否能在大规模植物识别中匹配或超过可信的专家标注数据。
• 在包含可信与嘈杂训练集的 10K 物种植物数据集上评估基于 CNN 的方法。
• 比较不同的训练策略和架构，以理解数据质量与模型复杂度在植物识别中的关系。

提出的方法

• 构建三个数据集：EOL10K（可信，256,287 张图片），Web10K（嘈杂，1.1M 张图片），以及 Pl@ntNet 测试集。
• 使用从零开始训练或微调的 CNN 进行每组最多 4 次运行评估，包括集成和数据增强。
• 在 Pl@ntNet 测试集上使用 Mean Reciprocal Rank (MRR) 作为主要评估指标。
• 试验各种架构（GoogLeNet/Inception 变体、ResNet 变体、VGGNet、AlexNet）及训练技巧（bagging、ImageNet 预训练、自举、过滤嘈杂数据）。
• 分析基于器官的测试子集和长尾物种分布下的结果，以评估鲁棒性和对生物多样性的友好性。
• 讨论在大规模实时应用中部署的潜在效率改进（知识蒸馏）。

实验结果

研究问题

• RQ1 非常大且在嘈杂的网页数据上训练的 CNN 是否能在大规模植物识别中达到与可信数据集竞争的性能？
• RQ2 集成方法和数据增强是否能够补偿 Web10K 的标签噪声与类别不平衡？
• RQ3 训练数据源（可信 vs 嘈杂）对不同植物器官和长尾物种的 MRR 有何影响？
• RQ4 对这一任务，过滤嘈杂标签是有益还是有害？

主要发现

• 基于 CNN 的系统实现高性能，中位数 MRR 约为 0.8，最高结果为 0.92。
• 最佳结果来自在可信数据与嘈杂数据上训练的集成，而非单一数据源。
• 有些只用嘈杂数据训练的运行超过了许多仅用可信数据的方法，凸显数据多样性的价值。
• 过滤嘈杂数据常常使性能下降，相较于使用完整的嘈杂数据集（不进行过滤）。
• 集成（例如 Mario TSA Berlin Run4 的 60 种模型分布）优于单模型，更新的架构（Inception-ResNet-v2、Inception-v4）在结合 bagging 与数据增强时带来额外提升。
• 数据增强和自举在存在标签噪声与类别不平衡时对达到高准确度至关重要。
• 顶级结果并非依赖单一架构；相反，结合多种 CNN 与训练策略可获得最佳性能。
• 研究表明在嘈杂数据上训练具有正则化作用，提升在生物多样性信息学场景中的泛化。
• 对于最先进的集成方法，计算需求较高，因此鼓励探索知识蒸馏以便部署。