[论文解读] Semi-convolutional Operators for Instance Segmentation

David Novotný, Samuel Albanie+2 more|arXiv (Cornell University)|Jul 27, 2018

Advanced Neural Network Applications参考文献 46被引用 8

一句话总结

本文提出了一种半卷积算子，通过将局部卷积特征与全局空间位置线索相结合，提升了实例分割性能，克服了标准卷积网络在区分相同对象实例方面的局限性。该方法提升了实例级别分割的准确性，在PASCAL VOC 2012上达到最先进性能，并在生物图像解析任务中优于Mask R-CNN。

ABSTRACT

Object detection and instance segmentation are dominated by region-based methods such as Mask RCNN. However, there is a growing interest in reducing these problems to pixel labeling tasks, as the latter could be more efficient, could be integrated seamlessly in image-to-image network architectures as used in many other tasks, and could be more accurate for objects that are not well approximated by bounding boxes. In this paper we show theoretically and empirically that constructing dense pixel embeddings that can separate object instances cannot be easily achieved using convolutional operators. At the same time, we show that simple modifications, which we call semi-convolutional, have a much better chance of succeeding at this task. We use the latter to show a connection to Hough voting as well as to a variant of the bilateral kernel that is spatially steered by a convolutional network. We demonstrate that these operators can also be used to improve approaches such as Mask RCNN, demonstrating better segmentation of complex biological shapes and PASCAL VOC categories than achievable by Mask RCNN alone.

研究动机与目标

• 解决标准卷积网络因平移不变性而难以区分相同对象实例的局限性。
• 开发一种方法，使密集像素嵌入能够唯一标识实例分割任务中的对象实例。
• 将半卷积算子集成到Mask R-CNN等现有架构中，以提升对复杂、重叠或关节状形状的分割性能。
• 证明半卷积特征在实例级别分割基准测试中可优于标准卷积特征。

提出的方法

• 提出一种半卷积算子，将局部卷积特征响应与全局空间坐标结合，以打破平移不变性。
• 定义一种嵌入函数，将卷积特征图与空间位置编码通过加法混合函数进行融合。
• 表明所得算子类似于霍夫投票，可被解释为一种空间导向的双边核。
• 端到端训练嵌入网络，以确保同一实例的像素具有相似响应，从而实现实例感知的像素标注。
• 通过用位置感知特征提取器替换标准掩码头，将半卷积嵌入集成到Mask R-CNN中。
• 利用学习到的嵌入计算像素亲和度，进而用于实例感知的分割掩码优化。

实验结果

研究问题

• RQ1 标准卷积网络能否在基于密集像素嵌入的实例分割中可靠地区分相同的对象实例？
• RQ2 如何缓解CNN中的平移不变性，以实现对重叠或重复对象的唯一实例嵌入？
• RQ3 能否设计出半卷积算子，在保持CNN的高效性和模块化的同时实现更好的实例分离？
• RQ4 半卷积特征在PASCAL VOC和生物图像数据集等挑战性基准上的实例分割性能可提升多少？

主要发现

• 在PASCAL VOC 2012上，半卷积嵌入将实例分割AP提升至0.412，超过Mask R-CNN的0.401。
• 在C. elegans数据集上，该方法达到AP为0.569，优于Mask R-CNN基线的0.559。
• 在较高IoU阈值下（如AP@0.75: 0.511 vs. 0.502）提升最为显著，表明边界精度更高。
• 在PASCAL VOC 2012上达到最先进性能，平均APr为69.9，优于Mask R-CNN的69.0。
• 半卷积算子能更好地分割具有重叠和关节状实例的复杂生物形态。
• 该方法与Mask R-CNN兼容，可通过多阶段训练策略集成，而无需干扰RPN或检测头。