[论文解读] PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation

Xiangtai Li, Hao He+7 more|arXiv (Cornell University)|Mar 11, 2021

Advanced Neural Network Applications参考文献 65被引用 7

一句话总结

本文提出PointFlow，一种用于航拍图像分割的新颖点级关联传播模块，解决了前景-背景类别不平衡和小目标分割的挑战。通过使用双点匹配器选择显著点和边界点，PointFlow 实现了在特征金字塔层级间的高效、稀疏关联学习，在三个航拍图像基准上实现了最先进（SOTA）的精度与速度表现，并在通用分割数据集上也展现出强劲性能。

ABSTRACT

Aerial Image Segmentation is a particular semantic segmentation problem and has several challenging characteristics that general semantic segmentation does not have. There are two critical issues: The one is an extremely foreground-background imbalanced distribution, and the other is multiple small objects along with the complex background. Such problems make the recent dense affinity context modeling perform poorly even compared with baselines due to over-introduced background context. To handle these problems, we propose a point-wise affinity propagation module based on the Feature Pyramid Network (FPN) framework, named PointFlow. Rather than dense affinity learning, a sparse affinity map is generated upon selected points between the adjacent features, which reduces the noise introduced by the background while keeping efficiency. In particular, we design a dual point matcher to select points from the salient area and object boundaries, respectively. Experimental results on three different aerial segmentation datasets suggest that the proposed method is more effective and efficient than state-of-the-art general semantic segmentation methods. Especially, our methods achieve the best speed and accuracy trade-off on three aerial benchmarks. Further experiments on three general semantic segmentation datasets prove the generality of our method. Code will be provided in (https: //github.com/lxtGH/PFSegNets).

研究动机与目标

• 解决航拍图像分割中严重的前景-背景类别不平衡及复杂背景问题。
• 克服高分辨率遥感图像中因噪声背景上下文导致密集关联学习方法失效的问题。
• 弥合特征金字塔中高分辨率与低分辨率特征之间的语义鸿沟，以提升对小目标的理解能力。
• 设计一种高效、稀疏的信息传播机制，降低计算成本的同时提升分割精度。
• 在航拍图像与通用语义分割基准上均验证所提方法的泛化能力。

提出的方法

• 提出PointFlow模块（PFM），一种在相邻特征金字塔层级间基于选定关键点的稀疏关联传播机制。
• 设计双点匹配器，通过显著图上的最大池化操作选择显著区域的点，通过基于减法的边界预测方法选择目标边界的点。
• 利用跨特征层级匹配点采样的特征估算点对点关联，从而减少背景区域带来的噪声。
• 通过学习到的稀疏关联图将高层特征融合到低层，增强小目标的语义表征能力。
• 将PFM集成到FPN框架中，构建轻量化、高效的分割网络PFNet。
• 采用多尺度推理策略结合水平翻转增强，以提升在基准数据集上的泛化性能。

Figure 1: Illustration of an aerial image segmentation example and our proposed module. The first row presents the input image and ground truth with complex backgrounds and small objects. The second row indicates the schematic diagram on dense affinity propagation and our proposed point-based propag

实验结果

研究问题

• RQ1 在极端前景-背景类别不平衡的航拍图像分割任务中，稀疏的、基于点的关联学习是否能优于密集关联学习？
• RQ2 双点匹配器在从显著区域和目标边界中选择信息量丰富的点方面是否有效，从而提升特征传播性能？
• RQ3 所提出的PointFlow模块是否能在保持或提升分割精度的同时，有效减少复杂背景带来的噪声？
• RQ4 与最先进方法相比，PFNet在航拍图像分割基准上是否实现了更优的精度-速度权衡？
• RQ5 所提出的模块是否能泛化到航拍图像之外的通用语义分割数据集？

主要发现

• 在iSAID数据集上，PFNet达到70.4%的mIoU，较之前SOTA方法FarSeg提升3.2个百分点。
• 在Vaihingen数据集上，PFNet达到75.4%的mIoU，优于所有对比方法，包括HRNet-W18和GSCNN。
• 在Postdam数据集上，PFNet在聚类/背景类别上达到91.1%的mIoU，展现出在复杂背景区域中的强大性能。
• 在所有三个航拍图像基准上，该方法在所有评估模型中实现了最佳的精度-速度权衡，iSAID的计算量为64.6 GFLOPs。
• 在通用分割数据集（Cityscapes、ADE20k、BDD）上，PFNet在mIoU指标上表现具有竞争力，且GFLOPs远低于EMANet和RANet等先前方法。
• 可视化结果表明，PFNet能更好地保留小目标，并显著减少复杂场景中细小目标的分割尾部现象。

Figure 2: (a), The overal pipeline of our proposed PointFlow Module. Left: Two adjacent features with one salient map are sent to the Dual Index Generator to obtain the sampled indexes. Right: The sampled point features are propagated from top to the bottom and finally scattered into the low level f