[论文解读] Tracking Urbanization in Developing Regions with Remote Sensing Spatial-Temporal Super-Resolution

Yutong He, William Zhang+4 more|arXiv (Cornell University)|Apr 4, 2022

Advanced Vision and Imaging被引用 8

一句话总结

本文提出了一种时空超分辨率流程，通过结合一张高分辨率（HR）卫星图像与一系列低分辨率（LR）图像的时间序列，生成可用于追踪发展中国家城市建设的高分辨率、高保真时间序列。通过利用时间一致性与高分辨率细节，该方法在仅使用LR图像或单图超分辨率的基线方法基础上显著提升了目标追踪性能，实现在目标追踪任务中接近HR水平的表现。

ABSTRACT

Automated tracking of urban development in areas where construction information is not available became possible with recent advancements in machine learning and remote sensing. Unfortunately, these solutions perform best on high-resolution imagery, which is expensive to acquire and infrequently available, making it difficult to scale over long time spans and across large geographies. In this work, we propose a pipeline that leverages a single high-resolution image and a time series of publicly available low-resolution images to generate accurate high-resolution time series for object tracking in urban construction. Our method achieves significant improvement in comparison to baselines using single image super-resolution, and can assist in extending the accessibility and scalability of building construction tracking across the developing world.

研究动机与目标

• 解决在发展中国家因高分辨率（HR）卫星影像稀缺且获取成本高昂，难以追踪城市化进程的问题。
• 通过结合低分辨率（LR）影像的时间丰富性与单张HR图像的空间细节，提升建筑施工追踪的可扩展性与可及性。
• 开发一种流程，以增强在缺乏HR数据与标注建筑轮廓区域的目标追踪器性能。

提出的方法

• 该方法使用一个时空超分辨率模型（G），输入为LR图像的时间序列与一张HR参考图像，生成合成的HR时间序列。
• 模型通过对抗性损失、感知损失（LPIPS）以及一种新型边缘感知损失（EAD）的组合进行训练，以保留结构与边界细节。
• 生成的HR时间序列被输入至预训练的目标追踪器（如YOLO或类似模型），以实现随时间推移对建筑施工的检测与追踪。
• 该框架采用弱监督设定：推理时仅能访问最近一张HR图像，而模型在训练期间学习配对的HR与LR序列。
• 该方法利用LR时间序列中的时间一致性，以稳定并优化超分辨率输出，提升保真度与一致性。
• 该方法在与SpaceNet 7对齐的自定义数据集上进行评估，以Landsat 8（30米GSD）作为LR源数据，高分辨率影像作为HR参考。

实验结果

研究问题

• RQ1 时空超分辨率模型能否有效利用单张HR参考图像与LR图像时间序列，生成高分辨率卫星图像以提升目标追踪性能？
• RQ2 使用生成的HR图像进行目标追踪的性能，与真实HR图像、LR图像以及单图超分辨率生成图像相比如何？
• RQ3 引入感知损失与边缘感知损失在多大程度上提升了超分辨率图像质量，从而改善下游目标追踪任务？
• RQ4 该流程能否在缺乏连续HR卫星数据的资源受限地区部署，同时保持高追踪精度？

主要发现

• 所提方法在生成图像上的目标追踪性能与真实HR图像相当，EAD+LPIPS设置下的平均交并比（IoU）达到0.586。
• 时空超分辨率显著优于单图超分辨率与直接输入LR图像的方法，目标域上的IoU从LR的0.471提升至0.586（本方法使用EAD+LPIPS）。
• 在EAD+LPIPS变体中引入LPIPS损失，使IoU相比仅使用EAD提升了0.015，证明了感知保真度的益处。
• 该方法能够检测到在LR图像中不可见但可在生成HR输出中清晰识别的小型建筑施工。
• 无论采用ImageNet还是SpaceNet 7预训练设置，该方法在所有指标（包括准确率与FWIoU）上均持续优于基线方法。
• 即使生成图像并非完美，模型仍能保持与真实情况高度一致的追踪结果，表明对重建误差具有鲁棒性。