[论文解读] Using Conditional Generative Adversarial Networks to Generate Ground-Level Views From Overhead Imagery

Xueqing Deng, Yi Zhu+1 more|arXiv (Cornell University)|Feb 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 6

一句话总结

本文提出一种带有编码器-解码器生成器的条件生成对抗网络（cGAN），通过利用编码器提取的多层级特征图作为条件，从俯视图像合成逼真的地面视角图像。该方法在图像合成保真度（inception score: 2.526）和地表覆盖分类准确率（86.71%）方面均优于先前方法，表明高层特征最适合分类任务，而特征拼接则增强了视觉真实感。

ABSTRACT

This paper develops a deep-learning framework to synthesize a ground-level view of a location given an overhead image. We propose a novel conditional generative adversarial network (cGAN) in which the trained generator generates realistic looking and representative ground-level images using overhead imagery as auxiliary information. The generator is an encoder-decoder network which allows us to compare low- and high-level features as well as their concatenation for encoding the overhead imagery. We also demonstrate how our framework can be used to perform land cover classification by modifying the trained cGAN to extract features from overhead imagery. This is interesting because, although we are using this modified cGAN as a feature extractor for overhead imagery, it incorporates knowledge of how locations look from the ground.

研究动机与目标

• 解决地理空间制图中真实地面视角图像稀疏且空间分布不均的问题。
• 开发一种深度学习框架，利用俯视图像作为输入，合成逼真的地面视角图像。
• 探究编码器-解码器网络中不同层级的特征图如何作为条件来提升cGAN的图像生成效果。
• 评估训练好的cGAN是否可被有效重用于地表覆盖分类任务的特征提取。

提出的方法

• 生成器采用编码器-解码器架构，将俯视图像映射为地面视角图像，其中编码器提取分层特征。
• cGAN通过编码器提取的低、中、高层特征图以及其拼接结果进行条件控制，以引导图像生成。
• 判别器负责区分真实地面视角图像与生成图像，通过标准cGAN损失函数对生成器进行对抗性训练。
• 该框架在4,000对共址的Geograph地面图像与Google地图俯视图像上进行训练，使用Adam优化器，批量大小为128。
• 对于地表覆盖分类任务，从训练好的cGAN中提取俯视图像的1024维特征向量，随后在20,000个标注位置上使用SVM进行分类。
• 使用inception score对图像多样性与真实感进行定量评估，分数越高表示性能越优。

实验结果

研究问题

• RQ1 能否通过俯视图像中提取的多层级特征作为条件，使cGAN生成逼真且具有代表性的地面视角图像？
• RQ2 不同层级的编码特征（低、中、高层）在引导图像生成方面的表现有何差异？
• RQ3 将多个层级的特征拼接是否能提升生成地面视角图像的真实感与多样性？
• RQ4 训练好的cGAN是否可被有效重用于地表覆盖分类任务的特征提取？
• RQ5 基于cGAN的特征提取方法相较于以往使用简单图像块的方法，性能如何？

主要发现

• 低、中、高层特征图的拼接产生了最高的inception score（2.526），表明生成的地面视角图像在多样性和真实感方面表现最优。
• 仅使用高层特征时，地表覆盖分类准确率最高（86.71%），优于低层特征（83.58%）和拼接特征（85.45%）。
• 仅使用低层特征的模型视觉质量较差，细节不足；而高层特征则导致模式崩溃，生成图像视觉上高度相似。
• 所提出的cGAN框架显著优于先前使用10×10灰度图像块的方法，实现了更高的分类准确率（86.71% vs. 82.3%）与更优的图像质量。
• 该框架成功生成了细节丰富的地面视角图像，包含可识别的元素如道路、树木、草地、天空和房屋，与真实图像高度相似。
• 本研究证明，为图像生成任务训练的cGAN可被有效微调，用于下游地理空间任务（如地表覆盖分类）。