[论文解读] Semi-Supervised Noisy Student Pre-training on EfficientNet Architectures for Plant Pathology Classification

Sedrick Scott Keh|arXiv (Cornell University)|Dec 1, 2020

Smart Agriculture and AI参考文献 22被引用 4

一句话总结

本文提出在 EfficientNet 架构上进行半监督 Noisy Student 预训练，用于植物病害分类，利用未标记数据提升模型泛化能力。通过在 EfficientNet 上应用 Noisy Student蒸馏，该方法在 Plant Pathology FGVC7 数据集上实现了 0.982 的测试 ROC AUC，显著优于基线模型，并在该数据集上创下新的 SOTA 记录。

ABSTRACT

In recent years, deep learning has vastly improved the identification and diagnosis of various diseases in plants. In this report, we investigate the problem of pathology classification using images of a single leaf. We explore the use of standard benchmark models such as VGG16, ResNet101, and DenseNet 161 to achieve a 0.945 score on the task. Furthermore, we explore the use of the newer EfficientNet model, improving the accuracy to 0.962. Finally, we introduce the state-of-the-art idea of semi-supervised Noisy Student training to the EfficientNet, resulting in significant improvements in both accuracy and convergence rate. The final ensembled Noisy Student model performs very well on the task, achieving a test score of 0.982.

研究动机与目标

• 使用深度学习对单叶图像进行植物病害分类，以提升分类准确率。
• 评估 VGG16、ResNet101 和 DenseNet161 等标准 CNN 架构在 Plant Pathology FGVC7 数据集上的性能表现。
• 探究 EfficientNet 与 Noisy Student 训练在植物病害分类中半监督学习的有效性。
• 通过模型集成与超参数调优，实现最先进性能。

提出的方法

• 在 Plant Pathology FGVC7 数据集上，使用迁移学习对预训练的 EfficientNet 模型进行微调。
• 应用 Noisy Student 训练，一种半监督蒸馏技术，利用未标记数据提升泛化能力。
• 通过数据增强和软标签蒸馏，使用教师模型预测的噪声版本训练学生模型。
• 对学习率（1e-3）和优化器（Adam）等超参数进行优化，以实现最佳收敛与性能。
• 通过模型集成方法组合最佳个体模型，进一步提升测试性能。
• 由于 GPU 显存限制，采用小批量训练，重点保证训练的稳定性和收敛性。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，Noisy Student 训练能否提升 EfficientNet 在植物病害分类任务上的性能？
• RQ2 EfficientNet 与半监督 Noisy Student 训练的结合，相较于 VGG16 和 ResNet101 等标准微调模型，表现如何？
• RQ3 模型集成是否能进一步提升 Noisy Student 训练的 EfficientNet 模型的泛化能力与鲁棒性？
• RQ4 在该半监督设置下，哪些超参数设置（学习率、优化器）能实现最优收敛与性能？

主要发现

• 基线 EfficientNet 模型在测试集上达到 0.962 的 ROC AUC，优于 VGG16（0.933）、ResNet101（0.943）和 DenseNet161（0.945）。
• 在 EfficientNet 上应用 Noisy Student 训练后，测试 ROC AUC 提升至 0.967，显示出准确率与训练稳定性的持续提升。
• 最终集成的 Noisy Student 模型在测试集上达到 0.982 的得分，在公开排行榜中位列前 5%（共 1345 份提交，排名第 64）。
• 使用 Adam 优化器与 1e-3 学习率时性能最佳，其他学习率下性能提升微乎其微。
• 损失与准确率曲线显示，Noisy Student 模型在约第 18 个周期即实现收敛，且波动更小，优于基线模型。
• Noisy Student 模型的混淆矩阵显示其能准确分类多病害病例，解决了早期模型（如 DenseNet）存在的局限性。