[论文解读] PolyBuilding: Polygon Transformer for End-to-End Building Extraction

Yuan Hu, Zhibin Wang+2 more|arXiv (Cornell University)|Nov 3, 2022

Automated Road and Building Extraction被引用 4

一句话总结

PolyBuilding 是一种完全端到端的多边形 Transformer 模型，采用可变形 Transformer 编码器-解码器架构，直接从遥感图像中预测矢量化建筑多边形。它联合回归多边形坐标并分类角点顶点，通过一维非极大值抑制减少冗余，实现了在 CrowdAI 数据集上像素级覆盖度、实例级精确率/召回率以及几何规则性方面的最先进性能。

ABSTRACT

We present PolyBuilding, a fully end-to-end polygon Transformer for building extraction. PolyBuilding direct predicts vector representation of buildings from remote sensing images. It builds upon an encoder-decoder transformer architecture and simultaneously outputs building bounding boxes and polygons. Given a set of polygon queries, the model learns the relations among them and encodes context information from the image to predict the final set of building polygons with fixed vertex numbers. Corner classification is performed to distinguish the building corners from the sampled points, which can be used to remove redundant vertices along the building walls during inference. A 1-d non-maximum suppression (NMS) is further applied to reduce vertex redundancy near the building corners. With the refinement operations, polygons with regular shapes and low complexity can be effectively obtained. Comprehensive experiments are conducted on the CrowdAI dataset. Quantitative and qualitative results show that our approach outperforms prior polygonal building extraction methods by a large margin. It also achieves a new state-of-the-art in terms of pixel-level coverage, instance-level precision and recall, and geometry-level properties (including contour regularity and polygon complexity).

研究动机与目标

• 开发一种完全端到端的方法，直接从遥感图像中预测矢量化建筑多边形，避免复杂的后处理流水线。
• 通过确保锐利的角点、笔直的边以及低顶点冗余，提升预测建筑的几何质量。
• 解决基于分割的方法（呈现为块状形状）和多阶段检测+回归方法（灵活性差、易出错）的局限性。
• 通过固定顶点采样和可学习查询，统一多个建筑实例的输入与输出表示。
• 通过利用 Transformer 的自注意力机制，实现高效且可并行化的 GPU 训练与推理。

提出的方法

• 在可变形 DETR 的基础上扩展出多边形回归头，用于预测建筑多边形的顶点坐标序列。
• 引入角点分类头，为每个预测的顶点输出置信度分数，以识别真实角点。
• 采用均匀采样编码方案，将所有实例的真实标签多边形标准化为固定数量的顶点。
• 采用两阶段训练策略，解耦位置学习与角点分类，以提升收敛性。
• 在角点得分上应用一维非极大值抑制，以过滤冗余顶点并优化多边形几何形状。
• 使用边界框作为匹配代理，对真实标签与预测实例进行二分图匹配。

实验结果

研究问题

• RQ1 是否能够通过完全端到端的基于 Transformer 的模型，直接从遥感图像中预测出准确、规则且复杂度低的建筑多边形？
• RQ2 与基于分割或分阶段的方法相比，多边形坐标联合回归与角点分类的结合在几何保真度方面有何提升？
• RQ3 一维非极大值抑制在保留角点准确性的前提下，能在多大程度上减少顶点冗余？
• RQ4 使用固定顶点的均匀采样和可学习查询，是否能有效实现对多样化建筑形状与尺寸的泛化？
• RQ5 该模型是否能在不依赖后处理流水线的前提下，同时在实例级检测与几何级规则性方面实现卓越性能？

主要发现

• PolyBuilding 在 CrowdAI 数据集上实现了新的最先进性能，涵盖像素级覆盖度、实例级精确率与召回率，以及轮廓规则性、多边形复杂度等几何属性。
• 该模型在定量指标和定性视觉质量方面，显著优于以往基于分割或多阶段的多边形提取方法。
• 多边形回归与角点分类的结合，使得生成的多边形具备锐利的角点和极少的顶点冗余。
• 一维非极大值抑制能有效减少角点附近的冗余顶点，同时不损害形状准确性。
• 失败案例主要源于顶点定位不准确或在短边区域进行 NMS 过滤，表明通过几何正则化损失可进一步改进。
• 该模型展现出强大的泛化能力与鲁棒性，尽管未施加显式的非相交约束，但预测中未观察到多边形相交现象。