[论文解读] Semantic Instance Segmentation via Deep Metric Learning

Alireza Fathi, Zbigniew Wojna+5 more|arXiv (Cornell University)|Mar 30, 2017

Advanced Neural Network Applications参考文献 25被引用 211

一句话总结

该论文学习像素级嵌入空间以衡量两个像素是否属于同一对象，并使用基于种子的位置掩码产生实例分割，在Pascal VOC 2012上达到竞争力的mAP。

ABSTRACT

We propose a new method for semantic instance segmentation, by first computing how likely two pixels are to belong to the same object, and then by grouping similar pixels together. Our similarity metric is based on a deep, fully convolutional embedding model. Our grouping method is based on selecting all points that are sufficiently similar to a set of "seed points", chosen from a deep, fully convolutional scoring model. We show competitive results on the Pascal VOC instance segmentation benchmark.

研究动机与目标

• 通过区分同一类别的不同实例，推动语义实例分割超越边界框。
• 提出一个深度嵌入模型，对像素级相似性进行编码，以实现对象级聚类。
• 引入一个由学习到的 seediness 分数引导的基于种子的掩码扩展机制。
• 在共享的 CNN 主干上Joint训练嵌入和 seediness/分类头。

提出的方法

• 学习64维像素嵌入，使同一实例的像素在嵌入空间中尽量靠近，不同实例的像素尽量远离。
• 将像素相似度定义为 sigma(p,q)=2/(1+exp(||e_p-e_q||^2))，并通过对成对像素使用交叉熵损失进行训练。
• 通过选择种子并将所有与之的 sigma(p,q)大于阈值 tau 的像素扩展，来生成对象掩码。
• 计算 seediness 热力图以选择高质量种子，并使用最大多样性准则促进空间多样性。
• 使用每个种子分类头为每个掩码附上类别标签和置信度，并以基于 IoU 的引导进行训练。
• 使用带多尺度图像金字塔的共享 DeepLab v2 主干，并以受控学习率联合训练嵌入和 seediness/分类头。

实验结果

研究问题

• RQ1 在全卷积框架中，像素级嵌入空间是否能有效区分跨类别的物体实例？
• RQ2 如何选择种子点以在不进行穷尽像素分组的情况下高效生成高质量的实例掩码？
• RQ3 基于 seediness 的种子选择和多阈值掩码对分割精度有何影响？
• RQ4 无框选、以种子驱动的方法在标准基准上是否能与基于 proposals 的实例分割方法竞争？

主要发现

• 在 Pascal VOC 2012 验证集上达到 IoU 0.5 时的 mAP^r 为 62.21%，在对 VOC 采用 proposals 的方法中排名第4。
• 按类别的结果显示在大型物体（如火车、狗、摩托车）上表现强劲，但在自行车上较弱，原因是数据集标注质量差异。
• 使用前100个种子的基于种子的掩码覆盖率和召回率良好，无需对象 proposal。
• 在更高 IoU 阈值下，方法表现更好，在 VOC 2012 评估中 IoU 0.6 时排名第2，IoU 0.7 时并列第3。
• 嵌入维度为64，且基于种子采样参数 alpha 约为 0.3，在验证集上获得强劲的 mAP^r。