[论文解读] Survey of Automatic Plankton Image Recognition: Challenges, Existing Solutions and Future Perspectives

Tuomas Eerola, Daniel Batrakhanov+8 more|arXiv (Cornell University)|May 19, 2023

Water Quality Monitoring Technologies被引用 8

一句话总结

对自动浮游生物图像识别的全面综述，详述挑战、现有解决方案（特征工程与基于CNN的方法）、数据集和面向仪器和地点无关系统的未来方向。

ABSTRACT

Planktonic organisms are key components of aquatic ecosystems and respond quickly to changes in the environment, therefore their monitoring is vital to understand the changes in the environment. Yet, monitoring plankton at appropriate scales still remains a challenge, limiting our understanding of functioning of aquatic systems and their response to changes. Modern plankton imaging instruments can be utilized to sample at high frequencies, enabling novel possibilities to study plankton populations. However, manual analysis of the data is costly, time consuming and expert based, making such approach unsuitable for large-scale application and urging for automatic solutions. The key problem related to the utilization of plankton datasets through image analysis is plankton recognition. Despite the large amount of research done, automatic methods have not been widely adopted for operational use. In this paper, a comprehensive survey on existing solutions for automatic plankton recognition is presented. First, we identify the most notable challenges that that make the development of plankton recognition systems difficult. Then, we provide a detailed description of solutions for these challenges proposed in plankton recognition literature. Finally, we propose a workflow to identify the specific challenges in new datasets and the recommended approaches to address them. For many of the challenges, applicable solutions exist. However, important challenges remain unsolved: 1) the domain shift between the datasets hindering the development of a general plankton recognition system that would work across different imaging instruments, 2) the difficulty to identify and process the images of previously unseen classes, and 3) the uncertainty in expert annotations that affects the training of the machine learning models for recognition. These challenges should be addressed in the future research.

研究动机与目标

• 识别并分类阻碍大规模运营使用的自动浮游生物识别的关键挑战。
• 回顾现有方法（特征工程和深度学习）及其在浮游生物图像中的适用性。
• 总结用于浮游生物识别研究的公开数据集和成像仪器。
• 提出一个诊断数据集特定挑战及推荐补救措施的工作流程。
• 强调尚未解决的挑战和未来研究方向，以实现协同、仪器-和地点无关的解决方案。

提出的方法

• 综述文献以识别浮游生物识别的主要挑战，并总结文献中的相应解决方案。
• 描述传统的基于特征工程的流程及其典型组件（特征提取、选择、分类）。
• 回顾基于CNN的架构，包括通用型与定制的浮游生物特异模型，并分析它们在不同数据集上的性能趋势。
• 讨论将手工特征与CNN结合的混合方法与集成策略。
• 总结公开可用的浮游生物图像数据集和成像仪器，以便将数据集差异置于情境中。

实验结果

研究问题

• RQ1 在不同成像系统之间，阻碍广义、可操作的浮游生物识别的主要挑战是什么？
• RQ2 文献中有哪些解决域移位、未见类别和注释不确定性的方法？
• RQ3 在基准数据集上，特征工程方法与基于CNN的方法在浮游生物图像分类上的表现如何比较？
• RQ4 有哪些数据集和成像仪器可用，它们如何影响方法的性能与可比性？
• RQ5 可用于指导新浮游生物图像集合中解决数据集特定挑战的工作流程是什么？

主要发现

• 数据集之间的域迁移阻碍了在不同仪器上可用的通用浮游生物识别系统的开发。
• 识别和处理未见类别和非浮游生物颗粒的图像仍然困难。
• 专家注释的不确定性会影响识别模型的训练。
• 在许多挑战上存在可行的解决方案，但仍有一些重要挑战尚未解决，特别是用于运营部署。
• 在多个基准上，基于CNN的方法在准确性方面大体超过传统特征工程方法，但在实际应用采用方面受限。
• 为提高性能和效率，探索了混合与集成方法，以及针对全息成像和专用成像的定制体系结构。