[论文解读] Transfer Learning from Deep Features for Remote Sensing and Poverty Mapping

Sang Michael Xie, Neal Jean+3 more|arXiv (Cornell University)|Oct 1, 2015

Impact of Light on Environment and Health参考文献 19被引用 95

一句话总结

本文提出一种基于深度卷积神经网络的迁移学习方法，利用高分辨率卫星图像提取社会经济指标，以夜间灯光强度作为数据丰富的贫困地图代理指标。该方法在无显式监督的情况下学习到有意义的特征（如道路、城市区域和农田），其贫困预测性能接近实地调查数据。

ABSTRACT

The lack of reliable data in developing countries is a major obstacle to sustainable development, food security, and disaster relief. Poverty data, for example, is typically scarce, sparse in coverage, and labor-intensive to obtain. Remote sensing data such as high-resolution satellite imagery, on the other hand, is becoming increasingly available and inexpensive. Unfortunately, such data is highly unstructured and currently no techniques exist to automatically extract useful insights to inform policy decisions and help direct humanitarian efforts. We propose a novel machine learning approach to extract large-scale socioeconomic indicators from high-resolution satellite imagery. The main challenge is that training data is very scarce, making it difficult to apply modern techniques such as Convolutional Neural Networks (CNN). We therefore propose a transfer learning approach where nighttime light intensities are used as a data-rich proxy. We train a fully convolutional CNN model to predict nighttime lights from daytime imagery, simultaneously learning features that are useful for poverty prediction. The model learns filters identifying different terrains and man-made structures, including roads, buildings, and farmlands, without any supervision beyond nighttime lights. We demonstrate that these learned features are highly informative for poverty mapping, even approaching the predictive performance of survey data collected in the field.

研究动机与目标

• 通过利用丰富的遥感数据，解决发展中国家在贫困地图绘制方面关键的数据稀缺问题。
• 通过迁移学习克服遥感中贫困预测缺乏标注训练数据的问题。
• 开发一种可扩展、低成本的方法，在国家或大陆尺度上生成细粒度的贫困地图。
• 证明通过夜间灯光迁移学习所学习到的特征，相较于灯光本身更具信息量，有利于贫困预测。

提出的方法

• 使用ImageNet预训练权重作为初始化，训练一个全卷积神经网络（FCN），从日间卫星图像预测夜间灯光强度。
• 将夜间灯光强度作为代理任务以实现迁移学习，使模型在无需显式标注的情况下学习相关特征。
• 利用卷积神经网络中间层的特征图，提取地形、基础设施和土地利用的高层表示。
• 利用调查数据的交叉验证，将学习到的特征应用于聚合层面的贫困预测。
• 采用全卷积架构以保留空间分辨率，避免图像缩放导致的信息损失。
• 结合ImageNet预训练和夜间灯光预测的特征，构建一个可泛化至贫困地图绘制的迁移学习流程。

实验结果

研究问题

• RQ1 当标注数据稀缺时，能否通过夜间灯光强度作为代理任务的迁移学习，提升从卫星图像中预测贫困的性能？
• RQ2 通过夜间灯光迁移学习所学习到的特征，是否比灯光本身包含更多有助于贫困估计的空间模式？
• RQ3 仅通过卫星图像训练的深度学习模型，在多大程度上能接近昂贵实地调查的预测性能？
• RQ4 所学习到的特征能否在无显式监督的情况下识别出人工结构（如道路和城市区域）？

主要发现

• 迁移学习模型在除召回率外的所有指标上均优于所有非调查分类器，准确率为0.716，AUC为0.761。
• 迁移模型的准确率高于仅在夜间灯光上训练的模型（准确率0.683 vs. 0.526），证明迁移学习能提取更具信息量的特征。
• 模型学习到的滤波器在无任何显式监督（除夜间灯光强度外）的情况下，可识别道路、建筑物和农田。
• 在52%的夜间灯光强度为零的区域，迁移模型能预测贫困，其预测结果比仅使用灯光的模型更准确反映真实贫困率（后者在这些区域几乎100%预测为贫困）。
• 该模型为乌干达生成了1km × 1km分辨率的细粒度贫困地图，其空间模式与过时的调查数据一致，验证了其可扩展性和准确性。
• 传统计算机视觉特征（如HOG和颜色直方图）的表现仅略好于随机猜测，证实了迁移学习特征的非平凡复杂性。