[论文解读] What Is It Like Down There? Generating Dense Ground-Level Views and Image Features From Overhead Imagery Using Conditional Generative Adversarial Networks

Xueqing Deng, Yi Zhu+1 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 7

一句话总结

本文提出了一种条件生成对抗网络（cGAN），能够从俯视卫星图像生成逼真的地面视角图像和密集图像特征，从而实现高分辨率的土地覆盖制图。该方法在分类准确率上优于基于插值的方法和真实地面视角图像采样，表明cGAN学习到的表征在城市/乡村分类任务中几乎与真实图像同样有效。

ABSTRACT

This paper investigates conditional generative adversarial networks (cGANs) to overcome a fundamental limitation of using geotagged media for geographic discovery, namely its sparse and uneven spatial distribution. We train a cGAN to generate ground-level views of a location given overhead imagery. We show the "fake" ground-level images are natural looking and are structurally similar to the real images. More significantly, we show the generated images are representative of the locations and that the representations learned by the cGANs are informative. In particular, we show that dense feature maps generated using our framework are more effective for land-cover classification than approaches which spatially interpolate features extracted from sparse ground-level images. To our knowledge, ours is the first work to use cGANs to generate ground-level views given overhead imagery and to explore the benefits of the learned representations.

研究动机与目标

• 为解决地理发现中地理标签化地面视角图像稀疏且分布不均的问题。
• 利用条件生成对抗网络（cGAN）从俯视图像生成密集且逼真的地面视角图像。
• 评估cGAN生成的图像特征在土地覆盖分类任务中的有效性。
• 通过利用cGAN生成的密集特征图，生成高分辨率且均匀的土地覆盖地图。
• 克服在细空间尺度下融合地面视角与俯视图像时，空间插值方法的局限性。

提出的方法

• 使用俯视图像块作为条件输入，训练cGAN框架以生成对应的地面视角图像。
• 生成器在俯视图像的条件下生成逼真的地面视角图像，判别器则确保图像的真实性，并辅助学习有用表征。
• 评估了三种类型的俯视图像嵌入：灰度图像块、HSV变换图像块和CNN嵌入特征。
• 通过在区域内网格化俯视图像块并应用训练好的cGAN，生成密集特征图。
• 将预训练的ResNet-34分类器应用于从cGAN生成图像中提取的特征，以对每个网格单元进行土地覆盖分类。
• 将性能与基于真实地面视角图像特征空间插值的基线方法以及直接对真实图像进行分类的方法进行比较。

实验结果

研究问题

• RQ1 cGAN能否从俯视图像生成在视觉上合理且在结构上与真实图像相似的逼真地面视角图像？
• RQ2 cGAN学习到的图像表征是否对下游任务（如土地覆盖分类）具有信息量且有用？
• RQ3 与基于插值的方法相比，使用cGAN生成的密集特征图是否能提高土地覆盖分类的准确率？
• RQ4 不同的俯视图像嵌入方式（灰度、HSV、CNN特征）如何影响生成图像的质量及下游分类性能？
• RQ5 cGAN框架能否生成比基于插值的方法更准确、更少模糊的土地覆盖地图？

主要发现

• cGAN生成的地面视角图像看起来自然，能够捕捉城市与乡村场景之间的关键视觉差异，尽管缺乏真实图像的精细细节。
• cGAN学习到的表征在土地覆盖分类中达到了88.2%的准确率，与使用真实地面视角图像（ResNet-34分类器）的性能相当。
• 先插值后分类的方法生成的地图存在过度平滑，未能检测到如孤立土地覆盖类别等不连续的空间模式。
• 基于cGAN的方法生成的土地覆盖地图与真实地图的相似度高于真实图像采样和插值方法。
• 使用CNN嵌入的俯视图像特征时，基于cGAN生成的假图像训练的分类器达到了61.8%的准确率，表明尽管图像是合成的，但其表征仍具有信息量。
• cGAN框架在整体准确率上显著优于基于插值的方法，证明其在生成密集且空间一致的特征图方面的有效性。