[论文解读] Predicting Poverty Level from Satellite Imagery using Deep Neural Networks

Varun Chitturi, Zaid Nabulsi|arXiv (Cornell University)|Nov 30, 2021

Impact of Light on Environment and Health被引用 8

一句话总结

本文提出使用深度神经网络（DNNs）从白天和夜晚的卫星图像中预测区域贫困水平，通过数据增强和迁移学习技术，在标注数据有限的情况下提升模型性能。主要贡献在于证明DNNs能够在大陆之间有效泛化——尤其当在非洲数据上训练并在亚洲数据上测试时，RMSE达到0.926；并表明夜间图像对模型复杂度的提升更为敏感，相较于白天图像受益更多。

ABSTRACT

Determining the poverty levels of various regions throughout the world is crucial in identifying interventions for poverty reduction initiatives and directing resources fairly. However, reliable data on global economic livelihoods is hard to come by, especially for areas in the developing world, hampering efforts to both deploy services and monitor/evaluate progress. This is largely due to the fact that this data is obtained from traditional door-to-door surveys, which are time consuming and expensive. Overhead satellite imagery contain characteristics that make it possible to estimate the region's poverty level. In this work, I develop deep learning computer vision methods that can predict a region's poverty level from an overhead satellite image. I experiment with both daytime and nighttime imagery. Furthermore, because data limitations are often the barrier to entry in poverty prediction from satellite imagery, I explore the impact that data quantity and data augmentation have on the representational power and overall accuracy of the networks. Lastly, to evaluate the robustness of the networks, I evaluate them on data from continents that were absent in the development set.

研究动机与目标

• 开发用于利用高空卫星图像预测区域贫困水平的深度学习模型，解决发展中国家地面真实经济数据稀缺的问题。
• 评估数据量和数据增强对深度神经网络在贫困预测中表征能力与准确率的影响。
• 测试模型在未包含在训练数据中的大陆之间的泛化能力，评估其对分布偏移的鲁棒性。
• 比较深度神经网络在白天和夜间卫星图像上用于贫困估计的性能表现。
• 探索利用有限且稀疏的贫困数据与卫星图像联合训练准确且可泛化的模型的可行性。

提出的方法

• 从非洲、南美洲、亚洲、欧洲和加勒比海地区的44,193个城市收集了88,386张卫星图像（白天和夜间），并配对城市层面的财富指数。
• 使用ReLU激活函数训练两层全连接深度神经网络（每层512个神经元），采用带权重衰减和Dropout正则化的随机梯度下降进行优化。
• 应用数据增强技术，如随机裁剪、翻转和色彩抖动，以增加有效训练数据量并提升泛化能力。
• 采用迁移学习和预训练策略以增强模型性能，尤其在标注数据有限的情况下。
• 使用k折交叉验证和保留的测试集评估模型性能，以RMSE为主要评估指标。
• 在未见大陆上评估模型（例如，在非洲数据上训练，在亚洲或欧洲数据上测试），以评估零样本泛化能力。

实验结果

研究问题

• RQ1 深度神经网络是否仅依靠卫星图像即可准确预测区域贫困水平，而无需依赖传统的真实调查数据？
• RQ2 数据量和数据增强如何影响DNN在卫星图像贫困预测中的表征能力与预测准确率？
• RQ3 模型是否能很好地泛化到训练数据中未包含的大陆区域？不同大陆组合之间的性能表现如何变化？
• RQ4 与白天图像相比，夜间卫星图像是否对模型复杂度的提升更敏感？
• RQ5 单一DNN能否有效结合白天和夜间图像，使贫困预测性能超越单独使用任一模态的效果？

主要发现

• 仅在非洲数据上训练的DNN在亚洲数据上测试时，RMSE达到0.926，优于通用模型在自身验证集上的表现。
• 在亚洲数据上训练的模型在欧洲数据上泛化表现合理，RMSE为1.156，表明具有较强的跨大陆迁移能力。
• 在欧洲数据上训练的模型在非洲数据上表现较差，RMSE达3.182，表明欧洲与非洲卫星图像之间存在显著的领域偏移。
• 模型复杂度提升带来的性能增益在夜间图像中比白天图像更显著，表明夜间数据的表征能力尚未达到饱和。
• 数据增强和迁移学习显著提升了模型的鲁棒性与准确率，尤其在低数据场景下效果明显。
• 简单的两层DNN架构展现出强大的泛化能力，表明即使轻量级模型在基于多样化、全球代表性卫星数据训练后，也能产生有意义的贫困预测结果。