[论文解读] SegSort: Segmentation by Discriminative Sorting of Segments

Jyh-Jing Hwang, Stella X. Yu+5 more|arXiv (Cornell University)|Oct 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 81被引用 10

一句话总结

SegSort 提出了一种用于语义分割的端到端深度度量学习方法，将分割任务视为在嵌入空间中对图像片段进行判别性排序。通过采用基于球面 K-means 和邻域组件分析的两阶段期望最大化框架，优化片段内相似性和片段间差异性，该方法在无监督学习中实现了监督方法 76% 的性能，并在边界精度和区域一致性方面优于标准的像素级 Softmax 方法。

ABSTRACT

Almost all existing deep learning approaches for semantic segmentation tackle this task as a pixel-wise classification problem. Yet humans understand a scene not in terms of pixels, but by decomposing it into perceptual groups and structures that are the basic building blocks of recognition. This motivates us to propose an end-to-end pixel-wise metric learning approach that mimics this process. In our approach, the optimal visual representation determines the right segmentation within individual images and associates segments with the same semantic classes across images. The core visual learning problem is therefore to maximize the similarity within segments and minimize the similarity between segments. Given a model trained this way, inference is performed consistently by extracting pixel-wise embeddings and clustering, with the semantic label determined by the majority vote of its nearest neighbors from an annotated set. As a result, we present the SegSort, as a first attempt using deep learning for unsupervised semantic segmentation, achieving $76\%$ performance of its supervised counterpart. When supervision is available, SegSort shows consistent improvements over conventional approaches based on pixel-wise softmax training. Additionally, our approach produces more precise boundaries and consistent region predictions. The proposed SegSort further produces an interpretable result, as each choice of label can be easily understood from the retrieved nearest segments.

研究动机与目标

• 为了解决当前深度学习方法将语义分割视为像素级分类所带来的局限性，该方法未能反映人类对视觉场景的感知分组方式。
• 开发一种非参数化、可端到端训练的框架，通过跨图像的视觉和语义相似性对片段进行排序，学习视觉表征。
• 仅使用基于轮廓的伪掩码和度量学习，无需任何真实标签，即可实现无监督语义分割。
• 生成可解释的分割结果，其中每个标签预测均可通过从参考集检索最近邻片段来解释。
• 与传统参数化像素级预测模型相比，提升分割边界精度和区域一致性。

提出的方法

• 使用卷积神经网络将每个像素映射到视觉嵌入空间中的一个点，其中空间邻近性表示片段隶属关系。
• 采用两阶段期望最大化框架：首先，球面（冯-米塞斯-费舍尔）K-means 聚类在嵌入空间中执行图像分割。
• 其次，E 步骤被调整为像素到片段的损失，以优化卷积神经网络进行度量学习，最大化片段内相似性并最小化片段间相似性。
• 在无监督学习中，使用 HED 轮廓检测器（HED-owt-ucm）生成伪分割掩码，提供视觉边界但不依赖语义标签。
• 在监督设置中，该方法引入邻域组件分析（NCA）准则，通过最近邻多数投票机制优化语义标签分配。
• 通过片段检索和分层聚类（FINCH）自动发现视觉组，揭示学习到的嵌入空间中的细粒度视觉结构。

实验结果

研究问题

• RQ1 是否可以将深度度量学习用于端到端语义分割，通过将分割视为片段的判别性排序？
• RQ2 非参数化、基于嵌入的方法是否能在监督和无监督设置下均优于标准的参数化像素级分类方法？
• RQ3 所提出的方法是否在边界精度和区域预测一致性方面优于传统基于 Softmax 的模型？
• RQ4 仅使用基于轮廓的伪掩码进行无监督训练，是否能在无任何真实标签的情况下产生有意义的语义分割？
• RQ5 模型的预测是否可通过从标注片段参考集中检索最近邻片段而具备内在可解释性？

主要发现

• 无监督的 SegSort 在 PASCAL VOC 2012 数据集上实现了其监督对应方法 76% 的平均交并比（mIoU）性能。
• 该方法优于使用 HED-owt-ucm 掩码对预训练特征进行基线聚类，证明了端到端度量学习的有效性。
• 从无监督预训练嵌入进行微调可提升性能，优于随机初始化，表明所学表征具有可迁移性。
• 无监督设置下学习到的嵌入更关注视觉相似性（如纹理、颜色），而非语义含义，这与使用基于轮廓的伪掩码一致。
• 在片段原型上进行分层聚合聚类（FINCH）可自动发现视觉组，如人脸、头发、蓝色衬衫和车轮，表明嵌入空间中存在结构化的语义组织。
• 该方法在边界精度和区域预测一致性方面优于标准参数化像素级模型，经由更高的边界 F-measure 分数验证。