[论文解读] Recurrent Neural Networks for Semantic Instance Segmentation

Amaia Salvador, Míriam Bellver+5 more|arXiv (Cornell University)|Dec 2, 2017

Topic Modeling参考文献 45被引用 65

一句话总结

引入一个端到端的循环模型，直接从图像像素生成一个可变长度的语义实例掩码序列和类别标签，无需基于建议的后处理。

ABSTRACT

We present a recurrent model for semantic instance segmentation that sequentially generates binary masks and their associated class probabilities for every object in an image. Our proposed system is trainable end-to-end from an input image to a sequence of labeled masks and, compared to methods relying on object proposals, does not require post-processing steps on its output. We study the suitability of our recurrent model on three different instance segmentation benchmarks, namely Pascal VOC 2012, CVPPP Plant Leaf Segmentation and Cityscapes. Further, we analyze the object sorting patterns generated by our model and observe that it learns to follow a consistent pattern, which correlates with the activations learned in the encoder part of our network. Source code and models are available at https://imatge-upc.github.io/rsis/

研究动机与目标

• 为语义实例分割提供无需对象 proposal 或后处理的动机与解决方案。
• 开发一个端到端的循环架构，输出图像中所有对象的一组掩码和类别标签序列。
• 使输出具有可变长度，以处理对象数量不同的图像。
• 分析模型学到的对象发现模式与排序行为。
• 在不同数据集上评估该方法，以评估泛化性和可扩展性。

提出的方法

• 使用在 ImageNet 上预训练的 ResNet-101 编码器从输入图像提取多层特征。
• 使用分层的 ConvLSTM 基解码器，通过跳跃连接上采样并合并编码器特征以产生每个时间步的一个对象掩码。
• 在每一步预测一个二值掩码、一个边界框、一个类别概率分布，以及一个对象性分数；序列长度由停止信号决定。
• 通过联合分任务损失进行训练，包含分割（sIoU）、边界框回归、分类（交叉熵）和停止（二元交叉熵）项；对长序列采用课程学习。
• 使用匈牙利算法以 sIoU 作为代价函数将预测掩码与地面真值掩码匹配，使模型能够端到端学习而不依赖固定输出大小。
• 包括对象排序模式分析，通过将预测顺序与预定义的排序策略及编码器激活相关联来分析。

实验结果

研究问题

• RQ1 一个端到端的循环模型是否能够在不依赖对象 proposals 或后处理的情况下准确执行语义实例分割？
• RQ2 循环解码器如何学习逐步发现并分割多个实例，并出现何种对象排序模式？
• RQ3 在不同图像对象数量的数据集（Pascal VOC、CVPPP、Cityscapes）上模型的表现如何？

主要发现

• 该模型在三个基准数据集上取得具有竞争力的结果，超越了一些序列方法，在较高 IoU 阈值下与非序列化的最先进方法存在差异。
• 更深的 ResNet-101 编码器配合连接的跳跃连接相比轻量骨干在 Pascal VOC 的 AP50 和人类对象的 AP50 更好。
• 解码器受益于更深的 ConvLSTM 堆栈和编码器端的跳跃连接；移除它们会降低性能，突显多尺度、循环解码的重要性。
• 预测 exhibits 一致的、数据集相关的排序模式（例如在 Pascal VOC 上从右到左，在 Cityscapes 上从左到右），并与编码器激活相关，表明学习到了扫描路径。
• 掩码质量在后续时间步下降，提示在较长序列中维持信息存在瓶颈，并且在小物体或高分辨率输入上有改进空间。
• 在 Cityscapes 上，该方法与序列方法具有竞争力，但在某些类别和 IoU 阈值下仍落后于非序列的最先进方法。