[论文解读] Segmenting Transparent Objects in the Wild

Enze Xie, Wenjia Wang+4 more|arXiv (Cornell University)|Mar 31, 2020

Advanced Neural Network Applications参考文献 33被引用 10

一句话总结

本文提出了 Trans10K，一个大规模真实世界数据集，包含 10,428 幅经过人工标注的透明物体分割图像，并提出了 TransLab，一种边界感知的深度学习方法，通过利用物体边界来提升分割性能。TransLab 在 Trans10K 上显著优于 20 种最先进方法，表明尽管深度学习技术不断进步，自然场景中的透明物体分割问题仍基本未被解决。

ABSTRACT

Transparent objects such as windows and bottles made by glass widely exist in the real world. Segmenting transparent objects is challenging because these objects have diverse appearance inherited from the image background, making them had similar appearance with their surroundings. Besides the technical difficulty of this task, only a few previous datasets were specially designed and collected to explore this task and most of the existing datasets have major drawbacks. They either possess limited sample size such as merely a thousand of images without manual annotations, or they generate all images by using computer graphics method (i.e. not real image). To address this important problem, this work proposes a large-scale dataset for transparent object segmentation, named Trans10K, consisting of 10,428 images of real scenarios with carefully manual annotations, which are 10 times larger than the existing datasets. The transparent objects in Trans10K are extremely challenging due to high diversity in scale, viewpoint and occlusion as shown in Fig. 1. To evaluate the effectiveness of Trans10K, we propose a novel boundary-aware segmentation method, termed TransLab, which exploits boundary as the clue to improve segmentation of transparent objects. Extensive experiments and ablation studies demonstrate the effectiveness of Trans10K and validate the practicality of learning object boundary in TransLab. For example, TransLab significantly outperforms 20 recent object segmentation methods based on deep learning, showing that this task is largely unsolved. We believe that both Trans10K and TransLab have important contributions to both the academia and industry, facilitating future researches and applications.

研究动机与目标

• 为解决透明物体分割缺乏大规模真实世界数据集的问题，此类数据集对于训练和基准测试鲁棒模型至关重要。
• 克服现有数据集的局限性，例如合成图像生成、样本量小或缺乏人工标注。
• 开发一种能有效处理由于背景继承、遮挡和透明度变化导致的视觉模糊性的分割方法。
• 探究在非受限环境下，物体边界在提升透明物体分割性能中的作用。
• 利用包含尺度、视角、遮挡和透明度多样性挑战的真实世界数据，建立透明物体分割的新基准。

提出的方法

• 提出 Trans10K，一个包含 10,428 幅真实世界图像的大规模数据集，对透明物体进行人工标注的分割掩码，涵盖‘事物’（如瓶子）和‘东西’（如窗户）两类。
• 设计一种新颖的边界感知分割网络 TransLab，通过引入专用的边界分支和边界注意力模块，利用边界线索增强特征学习。
• 在 Trans10K 数据集上端到端训练 TransLab，采用多尺度监督和边界感知损失函数以提升掩码质量。
• 采用双分支架构：语义分割分支和边界预测分支，通过注意力机制融合特征以优化预测结果。
• 应用数据增强和类别平衡策略，以应对 Trans10K 中物体类别和场景类型的长尾分布问题。
• 在验证集和测试集的易样本与难样本子集上评估性能，以暴露模型弱点并确保鲁棒性。

实验结果

研究问题

• RQ1 当在大规模真实世界基准上评估时，现有深度学习方法在真实世界透明物体分割任务上的泛化性能如何？
• RQ2 显式建模物体边界在多大程度上能提升高视觉模糊性透明物体的分割精度？
• RQ3 真实场景中尺度、视角、遮挡和透明度的多样性如何影响分割模型的泛化能力和鲁棒性？
• RQ4 像 TransLab 这类边界感知架构是否能在具有挑战性的大规模真实世界数据集上超越最先进方法？
• RQ5 在 Trans10K 上训练的模型在外部数据集和训练分布外的真实世界图像上的泛化能力如何？

主要发现

• TransLab 在 Trans10K 基准上达到最先进性能，在硬测试集上的 mIoU 指标显著优于 20 种近期基于深度学习的分割方法。
• TransLab 中的边界注意力机制显著提升了分割掩码的准确性，尤其在纹理微弱或透明度高的区域，基线模型在此类区域表现失败。
• Trans10K 包含 13 种多样化场景的 10,428 幅真实图像，涵盖 20 种物体类别，其中‘东西’类共 8,291 个实例，‘事物’类共 1,544 个实例，规模是先前数据集的 10 倍。
• 验证集和测试集的难样本子集暴露了现有模型的显著局限性，证实了真实世界中透明物体分割问题仍基本未被解决。
• TransLab 在外部数据上泛化良好，包括来自 YouTube、TikTok、eBay 和手机拍摄图像的数据，表明其对分布偏移具有鲁棒性。
• 失败案例显示，极端透明度、强烈反光、遮挡以及半透明物体相邻等情形仍是当前模型的挑战，即使在边界监督下也难以完全解决。