[论文解读] The CSIRO Crown-of-Thorn Starfish Detection Dataset

Jiajun Liu, Branislav Kusý+18 more|arXiv (Cornell University)|Nov 29, 2021

Coral and Marine Ecosystems Studies被引用 9

一句话总结

本文介绍了从大堡礁的海星拖曳调查中，使用GoPro相机采集的大型全标注水下图像数据集，涵盖冠状海星（COTS）。该数据集支持基于人工智能的对象检测，以提升大范围珊瑚礁监测能力，重点通过F2得分评估在多种水下条件下的高召回率。

ABSTRACT

Crown-of-Thorn Starfish (COTS) outbreaks are a major cause of coral loss on the Great Barrier Reef (GBR) and substantial surveillance and control programs are underway in an attempt to manage COTS populations to ecologically sustainable levels. We release a large-scale, annotated underwater image dataset from a COTS outbreak area on the GBR, to encourage research on Machine Learning and AI-driven technologies to improve the detection, monitoring, and management of COTS populations at reef scale. The dataset is released and hosted in a Kaggle competition that challenges the international Machine Learning community with the task of COTS detection from these underwater images.

研究动机与目标

• 解决对大堡礁珊瑚损失缓解中，COTS种群可扩展、准确且可靠的监测的迫切需求。
• 克服传统海星拖曳调查的局限性，包括可扩展性低、可靠性不一致以及数据可追溯性有限。
• 推动机器学习模型的开发，优先考虑召回率，以检测沿测线路径可见的所有COTS。
• 通过大规模、真实世界水下数据集与一致标注，提供COTS检测的标准化基准。
• 通过Kaggle竞赛促进国际合作，加速人工智能驱动的海洋保护创新。

提出的方法

• 使用安装在海星拖曳板上的GoPro Hero9相机，在潜水员调查期间以每秒24帧（24 fps）的速度采集超过35,000张高分辨率（3840×2160）水下图像。
• 于2021年10月单日内，在大堡礁斯温礁区域的五个珊瑚礁站点获取数据，涵盖不同光照、深度、能见度及相机与礁石距离的条件。
• 采用AI辅助标注，利用预训练的COTS检测模型指导专家标注员为每个COTS绘制边界框，确保标注的一致性与准确性。
• 将数据集划分为训练集和测试集，其中训练数据包含每张图像中所有可见COTS的完整边界框标注。
• 评估协议以F2得分为核心，优先考虑召回率，IoU阈值从0.3到0.8以0.05为增量设置，匹配逻辑基于置信度排序的预测结果。
• 通过IoU匹配标准计算真正例（TP）、假正例（FP）和假反例（FN），最终得分取所有IoU阈值下的平均F2得分。

实验结果

研究问题

• RQ1 深度学习模型在不同珊瑚礁环境的复杂水下成像条件下，检测隐蔽的、部分可见的COTS的效率如何？
• RQ2 与传统海星拖曳调查相比，人工智能驱动的检测在COTS监测召回率方面能提升多少？
• RQ3 一个大规模、真实世界数据集若具备一致标注，是否能支持在不同珊瑚礁条件下具备鲁棒性与泛化能力的COTS检测模型？
• RQ4 在生态监测背景下，强调召回率的F2得分指标与标准指标（如mAP）相比有何差异？
• RQ5 AI辅助标注在提升大规模海洋生物多样性数据集的可扩展性与准确性方面发挥何种作用？

主要发现

• 该数据集包含从大堡礁斯温礁区域五个珊瑚礁站点采集的超过35,000张标注水下图像。
• 数据集中包含数百个个体COTS，许多图像中可见多个海星，包括重叠和部分遮挡的情况。
• 评估协议以F2得分作为主要指标，重点在于最大化召回率，以确保在珊瑚礁调查中检测到所有可见的COTS。
• 该数据集通过Kaggle竞赛公开发布，以鼓励全球参与并对比COTS检测模型的性能。
• 标注过程结合了专家验证与预训练模型，确保数据集内标注的高质量与一致性。
• 由于海星拖曳测线过程中同一COTS在多帧中被重复成像，该数据集支持基于序列的检测。