[论文解读] TernausNetV2: Fully Convolutional Network for Instance Segmentation

Vladimir Iglovikov, Selim Seferbekov+2 more|arXiv (Cornell University)|Jun 3, 2018

Advanced Neural Network Applications被引用 14

一句话总结

TernausNetV2 是一种全卷积网络，通过为接触物体边界添加二值输出，将语义分割模型扩展至高分辨率卫星图像中的实例分割。该网络采用 WideResNet-38 编码器并扩展多光谱输入，结合基于分水岭的后处理步骤，在无需集成或测试时增强的情况下，于 DeepGlobe-CVPR 2018 建筑物检测挑战赛中实现了最先进性能（F1 得分 0.74）。

ABSTRACT

The most common approaches to instance segmentation are complex and use two-stage networks with object proposals, conditional random-fields, template matching or recurrent neural networks. In this work we present TernausNetV2 - a simple fully convolutional network that allows extracting objects from a high-resolution satellite imagery on an instance level. The network has popular encoder-decoder type of architecture with skip connections but has a few essential modifications that allows using for semantic as well as for instance segmentation tasks. This approach is universal and allows to extend any network that has been successfully applied for semantic segmentation to perform instance segmentation task. In addition, we generalize network encoder that was pre-trained for RGB images to use additional input channels. It makes possible to use transfer learning from visual to a wider spectral range. For DeepGlobe-CVPR 2018 building detection sub-challenge, based on public leaderboard score, our approach shows superior performance in comparison to other methods. The source code corresponding pre-trained weights are publicly available at https://github.com/ternaus/TernausNetV2

研究动机与目标

• 开发一种方法，利用全卷积架构实现在高分辨率卫星图像中的实例分割。
• 将基于 RGB 的预训练模型扩展至多光谱输入，以实现在不同光谱范围间的迁移学习。
• 实现在语义分割输出中对紧密排列或接触的同类物体进行精确分离。
• 在无需集成或测试时增强的情况下，于 DeepGlobe-CVPR 2018 建筑物检测挑战赛中实现最先进性能。

提出的方法

• 网络采用基于预训练 WideResNet-38 且使用就地批归一化（in-place batch normalization）的编码器-解码器架构，包含跳跃连接。
• 将输入从 3 个 RGB 通道扩展至 11 个多光谱通道，实现从 RGB 到更广光谱范围的迁移学习。
• 模型输出两个二值掩码：一个用于建筑物轮廓，一个用于接触或相邻物体的边界。
• 采用混合损失函数，结合二元交叉熵损失与可微分软 Jaccard 损失（1 - J），以同时优化像素级分类与 IoU。
• 软 Jaccard 损失定义为 $ J = \frac{1}{n} \sum_{c=1}^{2} w_c \sum_{i=1}^{n} \left( \frac{y_i^c \hat{y}_i^c}{y_i^c + \hat{y}_i^c - y_i^c \hat{y}_i^c} \right) $，其中 $ w_1 = w_2 = 1 $。
• 后处理步骤利用二值掩码和接触边界掩码作为种子，应用分水岭变换以分割重叠实例。

Figure 1: From left to right: RGB part of the input image, predicted binary mask in blue and touching borders in green, building instances after the watershed transform.

实验结果

研究问题

• RQ1 能否将为语义分割训练的全卷积网络适配为在卫星图像中执行实例分割？
• RQ2 如何有效将迁移学习从 RGB 扩展至多光谱卫星数据？
• RQ3 是否可通过一种简单且可微分的损失函数，同时提升实例分割中的像素级准确率与交并比（IoU）？
• RQ4 使用边界预测头结合分水岭变换的后处理步骤，是否优于端到端学习的实例分离方法？

主要发现

• 该模型在 DeepGlobe-CVPR 2018 建筑物检测挑战赛的公开排行榜上取得了 0.74 的 F1 得分，优于其他方法。
• 网络成功地从预训练的 RGB 权重泛化到 11 通道的多光谱输入，实现了跨光谱范围的迁移学习。
• 通过增加接触边界预测头，结合分水岭变换实现了有效的实例分离，且无需集成或测试时增强。
• 该模型在单张 GTX 1080 Ti 上每秒可处理 10 个样本，展现出实时推理能力。
• 采用 $ \alpha = 0.7 $ 的混合损失函数，平衡了二元交叉熵与软 Jaccard 损失，同时提升了分类与 IoU 性能。

Figure 2: TernausNetV2: encoder-decoder network with skipped connections that has ABN WideResnet-38 as the encoder. As an input, we have RGB + extra channels image. B1-B5 are the first five convolutional blocks of the base network that was pre-trained on the ImageNet. At every step of the decoder bl