[论文解读] Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis

Ruifeng Shi, Deming Zhai+3 more|arXiv (Cornell University)|Mar 17, 2020

Smart Agriculture and AI参考文献 36被引用 5

一句话总结

本文提出了一种即插即用的修正元学习框架，通过在元学习过程中优先选择无偏样本，提升CNN在植物病害诊断中的鲁棒性，从而在无需额外监督的情况下有效应对噪声标签。该方法加速了收敛速度，并在PlantVillage等噪声数据集上实现了最先进（SOTA）的准确率。

ABSTRACT

Plant diseases serve as one of main threats to food security and crop production. It is thus valuable to exploit recent advances of artificial intelligence to assist plant disease diagnosis. One popular approach is to transform this problem as a leaf image classification task, which can be then addressed by the powerful convolutional neural networks (CNNs). However, the performance of CNN-based classification approach depends on a large amount of high-quality manually labeled training data, which are inevitably introduced noise on labels in practice, leading to model overfitting and performance degradation. To overcome this problem, we propose a novel framework that incorporates rectified meta-learning module into common CNN paradigm to train a noise-robust deep network without using extra supervision information. The proposed method enjoys the following merits: i) A rectified meta-learning is designed to pay more attention to unbiased samples, leading to accelerated convergence and improved classification accuracy. ii) Our method is free on assumption of label noise distribution, which works well on various kinds of noise. iii) Our method serves as a plug-and-play module, which can be embedded into any deep models optimized by gradient descent based method. Extensive experiments are conducted to demonstrate the superior performance of our algorithm over the state-of-the-arts.

研究动机与目标

• 解决大规模植物病害图像数据集中标签噪声带来的挑战，该问题因过拟合导致CNN性能下降。
• 开发一种不依赖人工校正标签或噪声分布假设的噪声鲁棒训练框架。
• 通过在元学习过程中聚焦于偏差较小、更可靠的样本，提升训练效率，加快收敛速度并提高分类准确率。
• 设计一个可插拔模块，兼容任何通过梯度下降优化的深度学习模型。

提出的方法

• 提出两阶段训练框架：(1) 使用原始噪声标签进行主干学习；(2) 通过修正元学习阶段优化预测结果。
• 从原始数据中生成多个合成小批量数据，使用伪标签模拟噪声训练场景。
• 在元学习中采用一步梯度更新，使主干模型的预测结果与元学习阶段的预测对齐。
• 引入一个修正模块，对偏差较高的样本（即可能为噪声标签的样本）施加更大惩罚，从而减少对错误标注数据的过拟合。
• 使用加权损失函数，结合交叉熵损失与原始标签损失和元学习损失，通过超参数α控制两者的贡献平衡。
• 迭代训练模型，通过多轮循环逐步优化伪标签，持续提升标签准确率与模型鲁棒性。

实验结果

研究问题

• RQ1 基于元学习的方法是否能在无需额外监督的情况下提升植物病害分类中对标签噪声的鲁棒性？
• RQ2 优先选择无偏样本的修正模块如何影响收敛速度与最终分类准确率？
• RQ3 在训练目标中，原始噪声标签与校正后的伪标签之间应如何实现最优平衡？
• RQ4 超参数如合成小批量数量（Q）和权重因子α如何影响模型性能？
• RQ5 所提方法在真实世界噪声数据集（如PlantVillage）上能将标签准确率提升至何种程度？

主要发现

• 所提方法在不同噪声水平下均在PlantVillage数据集上实现了最先进性能，优于现有SOTA方法。
• 当α = 0.5时，原始标签与校正伪标签的联合训练达到最佳分类准确率，表明监督信号间实现了最优平衡。
• 修正模块使训练更加稳定，在混合噪声（ρ=0.2和ρ=0.3）条件下，模型约在27次迭代内实现收敛，而未使用该模块的训练则持续不稳定。
• 增加合成小批量数量（Q）可提升分类准确率，其中Q=10在性能与训练速度之间提供了最佳权衡。
• 最终模型将PlantVillage数据集上的标签准确率从原始噪声标签的75.6%提升至校正伪标签的92.1%，证明了其有效的噪声校正能力。
• 该方法在对称、非对称及混合噪声类型下均表现稳健，证实其泛化能力强大，且无需假设特定的噪声分布。