[论文解读] Overcoming Annotation Bottlenecks in Underwater Fish Segmentation: A Robust Self-Supervised Learning Approach

Alzayat Saleh, Marcus Sheaves+2 more|arXiv (Cornell University)|Jun 11, 2022

Water Quality Monitoring Technologies被引用 6

一句话总结

该论文提出了一种无需任何人工标注掩码的自监督端到端基于Transformer的方法，用于高精度水下鱼类分割。通过利用视频级别的时空一致性以及未配对视图上的对比学习，该模型在未见数据集上实现了最先进性能，超越了基于CNN和Transformer的自监督方法，并接近全监督性能，同时仅在单张GPU上从零开始训练，无需预训练。

ABSTRACT

Accurate fish segmentation in underwater videos is challenging due to low visibility, variable lighting, and dynamic backgrounds, making fully-supervised methods that require manual annotation impractical for many applications. This paper introduces a novel self-supervised learning approach for fish segmentation using Deep Learning. Our model, trained without manual annotation, learns robust and generalizable representations by aligning features across augmented views and enforcing spatial-temporal consistency. We demonstrate its effectiveness on three challenging underwater video datasets: DeepFish, Seagrass, and YouTube-VOS, surpassing existing self-supervised methods and achieving segmentation accuracy comparable to fully-supervised methods without the need for costly annotations. Trained on DeepFish, our model exhibits strong generalization, achieving high segmentation accuracy on the unseen Seagrass and YouTube-VOS datasets. Furthermore, our model is computationally efficient due to its parallel processing and efficient anchor sampling technique, making it suitable for real-time applications and potential deployment on edge devices. We present quantitative results using Jaccard Index and Dice coefficient, as well as qualitative comparisons, showcasing the accuracy, robustness, and efficiency of our approach for advancing underwater video analysis

研究动机与目标

• 通过消除对昂贵像素级掩码的需求，解决水下鱼类分割中的标注瓶颈问题。
• 在不依赖预训练模型的前提下，提升在多样化水下环境和鱼类物种中的泛化能力。
• 开发一种计算高效的端到端自监督方法，从无标注视频序列中学习密集表征。
• 证明自监督学习结合视觉Transformer可在具有挑战性的水下视觉条件下实现接近监督学习的性能。

提出的方法

• 该模型使用单一CoaT-based视觉Transformer主干网络，将视频片段的未配对视图编码为共享嵌入。
• 通过共享权重的相同分支对同一视频片段的两个增强视图进行生成和编码，以强制实现跨视图一致性。
• 在两个视图的投影之间应用对比损失，通过对比自监督学习不变表征。
• 通过使用动量平均网络生成的伪标签引入自训练损失，以优化预测并改善特征对齐。
• 仅使用RGB视频帧从零开始训练，无需预训练或人工标注的分割掩码。
• 学习密集时空嵌入以实现像素级分割，推理过程在输入视频的帧上逐帧进行。

实验结果

研究问题

• RQ1 自监督视觉Transformer模型是否能在无需任何人工标注分割掩码的情况下实现高质量的水下鱼类分割？
• RQ2 与现有自监督和监督基线相比，该方法在未见水下视频数据集上的泛化能力如何？
• RQ3 在无标注数据上从零开始训练，其性能在多大程度上优于依赖ImageNet预训练的方法？
• RQ4 在真实水下环境中，该模型能否保持对遮挡以及鱼类外观和背景杂乱变化的鲁棒性？
• RQ5 与先前的自监督和监督方法相比，该模型的计算效率如何？

主要发现

• 所提方法在Seagrass数据集上达到50.0的平均J&F分数，在YouTube-VOS数据集上达到63.3，显著优于基线自监督模型。
• 在两个未见数据集上，该模型均超越了先前基于CNN和Transformer的自监督方法，展现出强大的零样本泛化能力。
• 在全监督设置下，该模型在Seagrass数据集上达到64.7的平均J&F，在YouTube-VOS数据集上达到79.3，性能接近全监督方法。
• 该模型计算效率高，仅在单张11GB GPU上训练，无需预训练或大规模数据。
• 该方法在多样化鱼类物种和水下条件下泛化良好，对遮挡和背景杂乱具有鲁棒性。
• 该模型在未使用任何预训练权重的情况下实现了高质量分割，证明自监督学习结合Transformer可从零开始在水下视觉任务中有效应用。