[论文解读] ZeroWaste Dataset: Towards Deformable Object Segmentation in Cluttered Scenes

Dina Bashkirova, Mohamed S. Abdelfattah+8 more|arXiv (Cornell University)|Jun 4, 2021

Advanced Neural Network Applications被引用 4

一句话总结

本文介绍了ZeroWaste，这是目前公开可用的、规模最大的真实工业垃圾场景下用于工业废物检测的数据集，包含来自实际物料回收设施（Materials Recovery Facilities）中高度形变、半透明且杂乱的可回收物的密集标注图像帧。该数据集支持全监督、半监督和弱监督语义分割模型的基准测试，结果显示当前最先进方法在类别不平衡和上下文贫乏场景下表现不佳，凸显了在真实机器人和回收应用中对标签高效学习的迫切需求。

ABSTRACT

Less than 35% of recyclable waste is being actually recycled in the US, which leads to increased soil and sea pollution and is one of the major concerns of environmental researchers as well as the common public. At the heart of the problem are the inefficiencies of the waste sorting process (separating paper, plastic, metal, glass, etc.) due to the extremely complex and cluttered nature of the waste stream. Recyclable waste detection poses a unique computer vision challenge as it requires detection of highly deformable and often translucent objects in cluttered scenes without the kind of context information usually present in human-centric datasets. This challenging computer vision task currently lacks suitable datasets or methods in the available literature. In this paper, we take a step towards computer-aided waste detection and present the first in-the-wild industrial-grade waste detection and segmentation dataset, ZeroWaste. We believe that ZeroWaste will catalyze research in object detection and semantic segmentation in extreme clutter as well as applications in the recycling domain. Our project page can be found at http://ai.bu.edu/zerowaste/.

研究动机与目标

• 为解决在工业废物流中检测和分割高度形变、半透明且杂乱的可回收物时缺乏高质量真实世界数据集的问题。
• 支持在极端杂乱和类别不平衡场景下，全监督、半监督和弱监督学习在目标检测与语义分割方面的研究。
• 支持开发适用于真实世界回收自动化和更安全MRF作业的、数据高效且鲁棒的计算机视觉模型。
• 为在标注数据有限的工业环境中评估标签高效学习技术提供基准。

提出的方法

• ZeroWaste数据集从物料回收设施（Materials Recovery Facilities）的真实传送带上采集，包含完全标注的图像帧（ZeroWaste-f）和未标注的图像帧（ZeroWaste-s），用于半监督学习。
• 数据集包含四个前景类别：软质塑料、硬质塑料、纸板和金属，背景为纸张和传送带。
• 采用数据增强策略，将TACO数据集中的物体引入ZeroWaste，以缓解类别不平衡问题，形成ZeroWaste-Aug变体。
• 基线模型包括用于全监督学习的DeepLabV3+，用于利用未标注数据的半监督学习方法ReCo和CCT，以及基于类激活图（CAM）的方法（包括Puzzle-CAM和EPS）用于弱监督分割。
• 弱监督学习的伪标签通过在0.45阈值下进行阈值处理的类激活图（CAMs）生成，并通过基于图块的匹配方法增强物体覆盖范围。
• 评估在全监督、半监督和弱监督设置下进行，性能通过像素准确率和混淆矩阵衡量。

实验结果

研究问题

• RQ1 当前最先进全监督分割模型能否泛化到真实工业废物流中极端杂乱和高度形变的场景？
• RQ2 来自ZeroWaste-s子集的未标注数据在多大程度上能提升半监督学习的性能？在该场景下哪些归纳偏置是有效的？
• RQ3 仅使用图像级标签（如“前后”标签）的弱监督方法能否生成有意义的伪分割掩码，以训练鲁棒模型？
• RQ4 实例级数据增强（如ZeroWaste-Aug）在减少金属等稀有类别在类别不平衡数据集中的性能差距方面有多有效？

主要发现

• 全监督的DeepLabV3+在区分纸板与纸张时仅达到58%的准确率，表明细粒度分割面临显著挑战。
• 硬质塑料物体常被误分类为软质塑料，凸显了在纹理和形状泛化方面的困难。
• 金属物体常被分割为背景，因其在原始数据集中频率较低，凸显了类别不平衡的严重影响。
• 通过ZeroWaste-Aug进行数据增强可提升原始测试集上稀有类别金属的像素准确率，但导致硬质塑料性能下降，表明增强策略存在权衡。
• 使用未标注数据时，基于ReCo的半监督学习表现欠佳，表明ReCo依赖上下文的归纳偏置在低上下文、高杂乱场景中无效。
• CCT在使用未标注数据时表现出轻微性能提升，表明对比学习比上下文感知模型更适用于该领域复杂的视觉特性。