[论文解读] WHOI-Plankton- A Large Scale Fine Grained Visual Recognition Benchmark Dataset for Plankton Classification

Eric C. Orenstein, Oscar Beijbom+2 more|arXiv (Cornell University)|Oct 2, 2015

Water Quality Monitoring Technologies参考文献 5被引用 57

一句话总结

本文介绍了 WHOI-Plankton，这是一个大规模、细粒度的视觉识别数据集，包含来自8年连续IFCB数据的340万张专家标注的浮游生物图像，涵盖70个类别。通过在ImageNet上微调的基于VGG的卷积神经网络（CNN$_{\textrm{FT}}$），该研究实现了0.42的最先进未加权F1分数，优于手工设计的特征和从零开始训练的卷积神经网络。

ABSTRACT

Planktonic organisms are of fundamental importance to marine ecosystems: they form the basis of the food web, provide the link between the atmosphere and the deep ocean, and influence global-scale biogeochemical cycles. Scientists are increasingly using imaging-based technologies to study these creatures in their natural habit. Images from such systems provide an unique opportunity to model and understand plankton ecosystems, but the collected datasets can be enormous. The Imaging FlowCytobot (IFCB) at Woods Hole Oceanographic Institution, for example, is an \emph{in situ} system that has been continuously imaging plankton since 2006. To date, it has generated more than 700 million samples. Manual classification of such a vast image collection is impractical due to the size of the data set. In addition, the annotation task is challenging due to the large space of relevant classes, intra-class variability, and inter-class similarity. Methods for automated classification exist, but the accuracy is often below that of human experts. Here we introduce WHOI-Plankton: a large scale, fine-grained visual recognition dataset for plankton classification, which comprises over 3.4 million expert-labeled images across 70 classes. The labeled image set is complied from over 8 years of near continuous data collection with the IFCB at the Martha's Vineyard Coastal Observatory (MVCO). We discuss relevant metrics for evaluation of classification performance and provide results for a traditional method based on hand-engineered features and two methods based on convolutional neural networks.

研究动机与目标

• 解决在大规模成像数据集中对高度可变且形态相似的浮游生物物种进行分类的挑战。
• 为海洋生物学中的细粒度视觉识别提供一个大规模、专家标注的基准数据集。
• 评估传统机器学习方法与深度学习方法在真实世界浮游生物图像分类中的性能。
• 通过稳健且可泛化的分类器，为未来在自动浮游生物监测和生态建模方面的研究提供支持。

提出的方法

• 该数据集源自马萨诸塞州科德角海岸观测站的成像流式细胞仪（IFCB）在过去8年中收集的超过7亿个感兴趣区域（ROIs）。
• 每两周对随机选择的1小时数据段进行专家标注，以确保对自然浮游生物类群分布的代表性采样。
• 评估了三种分类方法：使用手工设计的形态和纹理特征的随机森林（RF），在浮游生物数据上从零开始训练的卷积神经网络（CNN$_{\textrm{P}}$），以及在ImageNet上预训练并微调的VGG-16卷积神经网络（CNN$_{\textrm{FT}}$）。
• 所有模型均在2014年之前数据的80%上进行训练，并在2014年每一天作为独立测试集进行测试，以模拟真实世界的时间部署。
• 性能通过每日所有类别未加权平均F1分数进行评估，并报告标准误差，以考虑类别不平衡和时间变异性的因素。
• 图像被调整大小以保持长宽比，居中，并使用从随机训练ROIs子集提取的均值像素值进行填充。

实验结果

研究问题

• RQ1 传统手工设计特征方法与深度学习方法在细粒度浮游生物图像分类中的表现如何比较？
• RQ2 从ImageNet迁移学习是否能提升对稀有及形态相似浮游生物类群的分类准确率？
• RQ3 分类模型在浮游生物丰度和组成的短期时间变化下表现是否稳定？
• RQ4 类别不平衡在多大程度上影响模型性能？未加权F1分数在多大程度上能缓解这种偏差？
• RQ5 合成数据增强是否能提升对低频浮游生物类群的识别能力？

主要发现

• 微调的卷积神经网络（CNN$_{\textrm{FT}}$）在2014年每一天均实现了0.42的最高未加权平均F1分数，优于随机森林（RF）和CNN$_{\textrm{P}}$。
• 随机森林分类器的平均未加权F1分数为0.27，而CNN$_{\textrm{P}}$为0.36，表明迁移学习显著提升了性能。
• 尽管由于'混合'类别的主导地位，总体准确率高达93.8%，但未加权F1分数更能反映对稀有和难以区分类别的分类性能。
• CNN$_{\textrm{FT}}$模型在每日评估中持续优于其他模型，仅有一天随机森林因对稀有类别的检测更优而略胜一筹。
• '混合'类别包含200万张ROIs，占数据集的约60%，凸显了浮游生物图像识别中类别不平衡的挑战。
• 本研究证明，对于具有高度时间变化和类别变异性的生态分类任务，未加权F1分数比宏平均准确率更合适。