[论文解读] What a MESS: Multi-Domain Evaluation of Zero-Shot Semantic Segmentation

Benedikt Blumenstiel, Johannes Jakubik+2 more|arXiv (Cornell University)|Jun 27, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了 MESS 基准测试，用于多领域零样本语义分割，评估了八种最先进模型在来自医学、地球观测、农业和工程学等领域的22个多样化数据集上的表现。研究发现，模型性能显著受类别语义相似性和传感器类型的影响，使用最优边界框时，文本到掩码模型的表现优于结合 SAM 的视觉-语言模型。

ABSTRACT

While semantic segmentation has seen tremendous improvements in the past, there are still significant labeling efforts necessary and the problem of limited generalization to classes that have not been present during training. To address this problem, zero-shot semantic segmentation makes use of large self-supervised vision-language models, allowing zero-shot transfer to unseen classes. In this work, we build a benchmark for Multi-domain Evaluation of Semantic Segmentation (MESS), which allows a holistic analysis of performance across a wide range of domain-specific datasets such as medicine, engineering, earth monitoring, biology, and agriculture. To do this, we reviewed 120 datasets, developed a taxonomy, and classified the datasets according to the developed taxonomy. We select a representative subset consisting of 22 datasets and propose it as the MESS benchmark. We evaluate eight recently published models on the proposed MESS benchmark and analyze characteristics for the performance of zero-shot transfer models. The toolkit is available at https://github.com/blumenstiel/MESS.

研究动机与目标

• 为解决零样本语义分割中跨多样化领域整体评估的缺乏，特别是针对域外泛化问题。
• 识别影响零样本模型性能的关键任务级特征，如类别语义和传感器类型。
• 提供一个标准化基准（MESS），用于评估零样本语义分割模型在域内设置之外的表现。
• 比较文本到掩码、点到掩码和框到掩码方法，特别是与 SAM 和定位模型结合时的表现。
• 通过分析词汇选择和提示工程对分割精度的影响，为未来模型设计提供指导。

提出的方法

• 作者整理并分类了120个数据集，基于领域、传感器类型和标注风格构建分类体系，从中选取22个代表性数据集用于 MESS 基准测试。
• 在 MESS 基准测试上评估了八种近期的零样本语义分割模型，包括 CAT-Seg-L、SAN-L、OVSeg-L 和 Grounded-SAM。
• 评估聚焦于开放词汇语义分割（OVSS），比较文本到掩码模型与 CLIP 等视觉-语言模型及基于 SAM 的方法。
• 研究包括定量指标（如 mIoU）和对医学影像、卫星图像及工程学等领域的预测结果的定性分析。
• 使用 SAM 的最优版本以隔离定位精度的影响，将真实边界框与 Grounding DINO 预测的边界框进行比较。
• 作者分析了文本提示设计的影响，比较通用提示与领域特定类别标签对分割性能的影响。

Figure 2: mIoU results for large models on a log scale. The datasets are grouped by their domain and sorted by supervised performance.

实验结果

研究问题

• RQ1 零样本语义分割模型在医学、地球观测和农业等多样化真实领域中的表现如何？
• RQ2 哪些任务级特征（如类别语义相似性或传感器模式）对模型性能影响最大？
• RQ3 文本提示的选择（如通用术语与领域特定术语）如何影响分割精度？
• RQ4 在零样本泛化方面，文本到掩码模型与结合 SAM 的视觉-语言模型相比表现如何？
• RQ5 准确的目标定位（通过边界框实现）在多大程度上能提升零样本分割性能？

主要发现

• 即使在使用预测边界框的情况下，文本到掩码模型如 CAT-Seg-L 的表现仍优于使用最优边界框的 Grounded-SAM。
• 使用完美定位的最优 SAM 实现，其性能优于许多有监督语义分割模型，凸显了定位精度的重要性。
• 在自然视觉光谱上训练的模型在热成像或非可见光传感器数据上表现显著下降，表明跨传感器泛化面临重大挑战。
• 类别之间的语义相似性（如鸟类物种或医疗器械）会负面影响性能，模型常将相似类别混淆。
• 使用通用类别标签（如“工具”而非“外科器械”）可显著提升分割性能，优于领域特定术语。
• MESS 基准测试表明，尽管在域内数据集上表现良好，当前零样本模型在医学影像和工程学等领域的泛化能力仍较差。

Figure 3: mIoU results of large models in relative comparison to the supervised mIoU on a log scale. 100 is equal to the supervised mIoU.