[论文解读] TrashCan: A Semantically-Segmented Dataset towards Visual Detection of Marine Debris

Jungseok Hong, Michael Fulton+1 more|arXiv (Cornell University)|Jul 16, 2020

Microplastics and Plastic Pollution参考文献 9被引用 56

一句话总结

本文提出 TrashCan，一种用于水下垃圾的大规模实例分割数据集，提供两种类别配置（TrashCan-Material 与 TrashCan-Instance），并给出使用 Mask R-CNN 和 Faster R-CNN 的基线结果。

ABSTRACT

This paper presents TrashCan, a large dataset comprised of images of underwater trash collected from a variety of sources, annotated both using bounding boxes and segmentation labels, for development of robust detectors of marine debris. The dataset has two versions, TrashCan-Material and TrashCan-Instance, corresponding to different object class configurations. The eventual goal is to develop efficient and accurate trash detection methods suitable for onboard robot deployment. Along with information about the construction and sourcing of the TrashCan dataset, we present initial results of instance segmentation from Mask R-CNN and object detection from Faster R-CNN. These do not represent the best possible detection results but provides an initial baseline for future work in instance segmentation and object detection on the TrashCan dataset.

研究动机与目标

• 推动水下垃圾对船载自驾潜水器（AUV）的鲁棒检测。
• 创建一个包含边界框和掩码的水下垃圾大规模语义分割数据集。
• 提供两种数据集配置（TrashCan-Material 与 TrashCan-Instance），以支持基于材料和基于实例的分类。
• 提供基线实验，促使未来在海洋垃圾检测与分割领域的改进。

提出的方法

• 组装一个包含 7,212 张图像的水下垃圾图像数据集，具有两种类别方案的实例分割掩码。
• 为四个粗类（trash、rov、bio、unknown）及额外的材料/实例标签标注掩码。
• 将标注转换为 COCO 格式，使用多边形掩码进行模型训练。
• 使用 Detectron2 训练并评估前沿检测器：Faster R-CNN with ResNeXt-101-FPN 以及 Mask R-CNN with X-101-FPN。
• 使用 COCO-era 指标（AP、AP50、AP75 等）来建立基线。

实验结果

研究问题

• RQ1 语义分割水下垃圾数据集是否能提升水下机器人检测与分割的性能？
• RQ2 基于材料的配置与基于实例的配置对检测与分割性能有何影响？
• RQ3 在 TrashCan 上使用标准 COCO 指标，领先模型能达到怎样的基线性能？

主要发现

• 基于实例的训练通常在评估模型中获得比基于材料设置更高的平均精度 (AP)。
• Faster R-CNN 在实例标签下达到 AP 34.5 和 AP50 55.4，在若干指标上优于其他配置。
• Mask R-CNN 在实例版本上达到 AP 30.0 和 AP50 55.3，显示出具有竞争力的实例分割基线。
• 材料版本在检测与分割任务中的结果总体低于实例版本。
• 总体而言，基线结果表明可通过更多数据或更先进的模型继续提升，同时验证数据集在海洋垃圾检测中的实用性。