[论文解读] Robust Pollen Imagery Classification with Generative Modeling and Mixup Training

Jaideep Vitthal Murkute|arXiv (Cornell University)|Feb 25, 2021

Allergic Rhinitis and Sensitization参考文献 9被引用 4

一句话总结

本文提出了一种鲁棒的深度学习框架，用于花粉颗粒图像分类，结合了基于变分自编码器（VAE）的生成建模、流形混合训练和EfficientNet主干网络。该方法通过联合监督与无监督学习、数据增强和模型集成，提升了泛化能力，在ICPR-2020挑战赛中取得了0.972578的加权F1分数，整体排名第四。

ABSTRACT

Deep learning approaches have shown great success in image classification tasks and can aid greatly towards the fast and reliable classification of pollen grain aerial imagery. However, often-times deep learning methods in the setting of natural images can suffer generalization problems and yield poor performance on unseen test distribution. In this work, we present and a robust deep learning framework that can generalize well for pollen grain aerobiological imagery classification. We develop a convolutional neural network-based pollen grain classification approach and combine some of the best practices in deep learning for better generalization. In addition to commonplace approaches like data-augmentation and weight regularization, we utilize implicit regularization methods like manifold mixup to allow learning of smoother decision boundaries. We also make use of proven state-of-the-art architectural choices like EfficientNet convolutional neural networks. Inspired by the success of generative modeling with variational autoencoders, we train models with a richer learning objective which can allow the model to focus on the relevant parts of the image. Finally, we create an ensemble of neural networks, for the robustness of the test set predictions. Based on our experiments, we show improved generalization performance as measured with a weighted F1-score with the aforementioned approaches. The proposed approach earned a fourth-place in the final rankings in the ICPR-2020 Pollen Grain Classification Challenge; with a 0.972578 weighted F1 score,0.950828 macro average F1 scores, and 0.972877 recognition accuracy.

研究动机与目标

• 解决在分布偏移和类别不平衡条件下，深度学习模型在花粉颗粒图像分类任务中出现的泛化失败问题。
• 通过变分自编码器（VAE）实现无监督解耦特征学习，提升模型鲁棒性。
• 利用流形混合训练提升决策边界的平滑性与泛化能力。
• 通过网络架构与训练策略的创新，在ICPR-2020花粉颗粒分类挑战赛中实现最先进性能。

提出的方法

• 训练了一个基于VAE的框架，其中编码器提取特征并生成潜在代码，解码器则重建花粉颗粒图像块，以聚焦于相关图像区域。
• 使用证据下界（ELBO）目标优化VAE，结合重建损失（MSE）与后验分布和先验分布之间的KL散度。
• 通过在神经网络的随机层上插值特征，应用流形混合训练，超参数α设为0.5或1.0，以促进更平滑的决策边界。
• 采用数据增强流水线，包括随机旋转、缩放、翻转和裁剪变换，并进行ImageNet归一化。
• 使用四个模型的集成——两个EfficientNet-B3和两个EfficientNet-B4——分别采用不同的混合设置和架构进行训练，最终预测结果取平均。
• 分两个阶段微调模型：首先冻结编码器，训练分类器和解码器；随后解冻所有层，进行联合优化。

实验结果

研究问题

• RQ1 将基于VAE的生成建模与混合方法结合，是否能提升花粉颗粒图像分类中的泛化能力？
• RQ2 在标注数据有限的下游分类任务中，无监督VAE学习的整合对性能有何影响？
• RQ3 采用不同α值的流形混合训练是否能带来更鲁棒、更平滑的决策边界？
• RQ4 EfficientNet-B3/B4等架构选择以及数据增强在提升泛化能力方面起到了多大作用？
• RQ5 模型集成能否进一步稳定预测结果，并在个体模型性能之上实现更好的泛化？

主要发现

• 所提方法在ICPR-2020花粉颗粒分类挑战赛的测试集上取得了0.972578的加权F1分数，整体排名第四。
• 四个基于VAE的模型集成在测试集上达到0.972877的准确率和0.950828的宏F1分数。
• 采用混合训练（α=0.5或1.0）和VAE重建的模型相较于基线EfficientNet模型表现出一致的性能提升，其中最佳单模型（EffNet-B4 VAE，α=0.5）达到0.96909的加权F1分数。
• VAE组件提升了特征的解耦性，并使模型更关注相关图像区域，即使未进行显式分割。
• 两阶段训练策略（初始冻结编码器）促进了更好的收敛，并提升了泛化能力。
• 消融实验表明，显式分割花粉颗粒并无益处，因为现代CNN结合数据增强和Dropout已能有效处理背景变化。