[论文解读] Ship Instance Segmentation From Remote Sensing Images Using Sequence Local Context Module

Yingchao Feng, Wenhui Diao+4 more|arXiv (Cornell University)|Apr 22, 2019

Advanced Neural Network Applications参考文献 7被引用 4

一句话总结

本文提出 SLCMASK-Net，一种用于遥感图像的新型实例分割框架，通过引入序列局部上下文（SLC）模块，利用堆叠空洞卷积增强多尺度上下文学习。SLC 模块在 Mask R-CNN 基线基础上将掩码级 AP 提升 10.98%，在高分辨率 QuickBird 数据集上实现 78.61% 的 AP，达到当前最先进性能，有效减少了密集排列船只之间的混淆。

ABSTRACT

The performance of object instance segmentation in remote sensing images has been greatly improved through the introduction of many landmark frameworks based on convolutional neural network. However, the object densely issue still affects the accuracy of such segmentation frameworks. Objects of the same class are easily confused, which is most likely due to the close docking between objects. We think context information is critical to address this issue. So, we propose a novel framework called SLCMASK-Net, in which a sequence local context module (SLC) is introduced to avoid confusion between objects of the same class. The SLC module applies a sequence of dilation convolution blocks to progressively learn multi-scale context information in the mask branch. Besides, we try to add SLC module to different locations in our framework and experiment with the effect of different parameter settings. Comparative experiments are conducted on remote sensing images acquired by QuickBird with a resolution of $0.5m-1m$ and the results show that the proposed method achieves state-of-the-art performance.

研究动机与目标

• 为解决遥感图像中因船只密集、紧密靠泊导致的物体混淆问题。
• 通过增强掩码分支中的上下文感知特征学习，提升掩码级性能。
• 设计一种轻量化、高效的上下文模块，以捕获多尺度空间上下文，同时不增加计算负担。
• 评估模块位置、空洞率及网络结构配置对分割精度的影响。

提出的方法

• 该框架基于 ResNet-101 和 FPN 作为主干网络的 Mask R-CNN，使用 RoIAlign 以保持空间精度。
• 在掩码分支中引入一种新型序列局部上下文（SLC）模块，由三个空洞卷积块堆叠而成，空洞率依次递增（1, r₁, r₂）。
• 每个块先应用 1×1 卷积，再接 3×3 空洞卷积，输出通过逐元素相加进行融合，以聚合多尺度上下文。
• SLC 模块旨在逐步学习不同尺度的上下文，同时避免因空洞率过大导致的信息丢失。
• 在不同网络位置评估该模块，包括分类分支和回归分支，并通过消融实验分析空洞率和层数的影响。
• 实验采用数据增强和优化的锚框设置，以确保与基线模型的公平比较。

实验结果

研究问题

• RQ1 多尺度上下文学习是否能减少遥感图像实例分割中密集排列船只之间的混淆？
• RQ2 与标准 ASPP 或 Inception 模块相比，基于序列的空洞卷积应用在捕捉空间上下文方面表现如何？
• RQ3 SLC 模块在何种位置和配置下能最大化船只分割的掩码 AP？
• RQ4 上下文增强对掩码级 AP 的提升是否显著高于对边界框检测性能的影响？

主要发现

• 所提出的 SLCMASK-Net 实现了 78.61% 的掩码级 AP，相比基线 Mask R-CNN（67.63%）提升了 10.98%。
• SLC 模块优于其他上下文模块：其召回率达到 85.68%，AP 为 78.61%，超过 ASPP(2,4,6)（73.48% AP）和 CCL（73.36% AP）。
• 将 SLC 模块置于掩码分支时性能最佳，而将其加入分类和回归分支则导致精度下降。
• 使用空洞率 2 和 3 时获得最优结果；更高的空洞率（如 4 和 6）会因丢失细粒度上下文而降低性能，甚至退化为 1×1 卷积。
• 消融实验证实，融合三层（layers=3）优于仅融合两层，且当 r₁=2、r₂=3 时性能最佳。
• SLC 模块使掩码级 AP 提升 10.98%，但仅使框级 AP 提升 3.0 分，表明其主要优势在于掩码优化。