[论文解读] Trans2Seg: Transparent Object Segmentation with Transformer

Enze Xie, Wenjia Wang+5 more|arXiv (Cornell University)|Jan 23, 2021

Visual Attention and Saliency Detection被引用 12

一句话总结

本文提出 Trans2Seg，一种基于 Transformer 的新型透明物体分割方法，通过利用全局感受野和可学习原型查询来提升性能。同时，本文构建了 Trans10K-v2，一个大规模、细粒度的数据集，包含 11 种透明物体类别，实验证明 Trans2Seg 在此具有挑战性的基准上显著优于现有的基于 CNN 的方法。

ABSTRACT

This work presents a new fine-grained transparent object segmentation dataset, termed Trans10K-v2, extending Trans10K-v1, the first large-scale transparent object segmentation dataset. Unlike Trans10K-v1 that only has two limited categories, our new dataset has several appealing benefits. (1) It has 11 fine-grained categories of transparent objects, commonly occurring in the human domestic environment, making it more practical for real-world application. (2) Trans10K-v2 brings more challenges for the current advanced segmentation methods than its former version. Furthermore, a novel transformer-based segmentation pipeline termed Trans2Seg is proposed. Firstly, the transformer encoder of Trans2Seg provides the global receptive field in contrast to CNN's local receptive field, which shows excellent advantages over pure CNN architectures. Secondly, by formulating semantic segmentation as a problem of dictionary look-up, we design a set of learnable prototypes as the query of Trans2Seg's transformer decoder, where each prototype learns the statistics of one category in the whole dataset. We benchmark more than 20 recent semantic segmentation methods, demonstrating that Trans2Seg significantly outperforms all the CNN-based methods, showing the proposed algorithm's potential ability to solve transparent object segmentation.

研究动机与目标

• 为真实家庭环境中透明物体分割缺乏大规模、细粒度数据集的问题提供解决方案。
• 开发一种能有效处理透明物体视觉模糊性和低纹理特性的分割方法。
• 通过利用全局上下文和类别特定原型，提升现有基于 CNN 模型的性能。
• 基于多样化、真实的图像数据集，建立透明物体分割的新基准。

提出的方法

• 使用 Transformer 编码器提供全局感受野，捕捉超越 CNN 局部感受野的长距离依赖关系。
• 将分割任务重新定义为字典查找问题，利用可学习原型作为 Transformer 解码器中的查询。
• 每个原型均经过训练，以表征数据集中 11 种透明物体类别之一的统计特征。
• 解码器关注编码器提取的特征，并通过相似性计算将这些特征与最相关的原型匹配。
• 采用交叉熵损失，端到端训练模型，比较预测掩码与真实标注。
• 在新提出的 Trans10K-v2 数据集上评估该架构，该数据集包含 11 种细粒度透明物体类别。

实验结果

研究问题

• RQ1 由于具备全局上下文建模能力，基于 Transformer 的架构是否能在透明物体分割任务中超越基于 CNN 的模型？
• RQ2 将可学习原型作为查询嵌入，如何提升透明物体类别特定表征学习的性能？
• RQ3 像 Trans10K-v2 这样更大、更细粒度的数据集，在多大程度上增加了透明物体分割基准的难度和现实感？
• RQ4 所提出的方法在家庭环境中多样化的透明物体类别上是否具备良好的泛化能力？

主要发现

• Trans2Seg 在 Trans10K-v2 基准上达到最先进性能，显著优于所有评估的基于 CNN 的分割方法。
• Transformer 编码器的全局感受野相比 CNN 的局部感受野，能提供更优的特征表示，尤其在低纹理透明物体上表现更优。
• 将可学习原型作为解码器查询，可生成更准确、更具类别感知能力的分割预测结果。
• 由于包含 11 种细粒度类别和真实家庭场景，Trans10K-v2 比 Trans10K-v1 带来更具挑战性的基准。
• 所提出方法在多种透明物体类型上表现出强大的泛化能力，表明对视觉变化具有鲁棒性。