[论文解读] Tiling and Stitching Segmentation Output for Remote Sensing: Basic Challenges and Recommendations

Bohao Huang, Daniël Reichman+3 more|arXiv (Cornell University)|May 30, 2018

Advanced Neural Network Applications参考文献 21被引用 30

一句话总结

本文提出了一种用于大尺寸遥感图像语义分割的改进推理策略，通过在推理过程中增大CNN输入尺寸，减少对图像块拼接和拼接的依赖。该方法显著缩短了推理时间并提高了精度，在建筑物分割竞赛中获得胜利。

ABSTRACT

In this work we consider the application of convolutional neural networks (CNNs) for pixel-wise labeling (a.k.a., semantic segmentation) of remote sensing imagery (e.g., aerial color or hyperspectral imagery). Remote sensing imagery is usually stored in the form of very large images, referred to as "tiles", which are too large to be segmented directly using most CNNs and their associated hardware. As a result, during label inference, smaller sub-images, called "patches", are processed individually and then "stitched" (concatenated) back together to create a tile-sized label map. This approach suffers from computational ineffiency and can result in discontinuities at output boundaries. We propose a simple alternative approach in which the input size of the CNN is dramatically increased only during label inference. This does not avoid stitching altogether, but substantially mitigates its limitations. We evaluate the performance of the proposed approach against a vonventional stitching approach using two popular segmentation CNN models and two large-scale remote sensing imagery datasets. The results suggest that the proposed approach substantially reduces label inference time, while also yielding modest overall label accuracy increases. This approach contributed to our wining entry (overall performance) in the INRIA building labeling competition.

研究动机与目标

• 解决大尺寸遥感图像语义分割中因图像块拼接和拼接导致的计算效率低下和边界不连续问题。
• 减少非常大尺寸航空或高光谱图像像素级分类的推理时间并提高标签精度。
• 提出一种传统基于图像块推理的实用替代方案，最大限度减少拼接伪影。
• 在真实世界数据集上评估该方法，并展示其相对于标准拼接工作流的性能提升。
• 为在大规模遥感图像中部署CNN提供可操作的建议。

提出的方法

• 与先处理小图像块再在推理后拼接不同，该方法在推理过程中增大CNN的感受野，以处理更大的输入区域。
• 模型采用标准的基于图像块的训练方式，但在推理时使用更大的输入尺寸，以减少显式拼接的需求。
• 该方法保持模型架构和训练流程不变，仅修改推理阶段的输入尺寸。
• 由于相邻区域在推理时使用重叠的感受野处理，拼接产生的边界伪影被最小化。
• 该方法避免了完整的重新训练，且与现有预训练模型兼容。
• 评估使用了两种流行的CNN架构和两个大规模遥感数据集，用于比较性能。

实验结果

研究问题

• RQ1 与标准拼接方法相比，增大推理输入尺寸在分割精度方面有何影响？
• RQ2 所提出的方法在大尺寸遥感图像分割中能将推理时间减少多少？
• RQ3 所提出的方法能否缓解由图像块拼接引起的语义分割边界不连续问题？
• RQ4 该方法在具有复杂空间结构的真实世界遥感数据集上的表现如何？
• RQ5 该方法对大规模分割挑战赛中的竞赛表现有何影响？

主要发现

• 与传统的拼接方法相比，所提出的方法显著减少了标签推理时间。
• 该方法在两个数据集和两种模型上均实现了适度但一致的总体分割精度提升。
• 该方法在INRIA建筑物标注竞赛中贡献了获胜方案，证明了其在真实世界中的有效性。
• 由于推理时使用更大的感受野，拼接产生的边界伪影显著减少。
• 该方法在无需架构修改或重新训练的情况下保持了高性能。
• 结果表明，增大推理输入尺寸是基于图像块处理的一种实用且有效的替代方案。