[论文解读] SustainBench: Benchmarks for Monitoring the Sustainable Development Goals with Machine Learning

Christopher Yeh, Chenlin Meng+8 more|arXiv (Cornell University)|Nov 8, 2021

Sustainability and Climate Change GovernanceEnvironmental Science被引用 21

一句话总结

SustainBench 为 7 项可持续发展目标（SDGs）中的 15 项机器学习任务引入了标准化的基准测试套件，其中 11 项任务使用公开发布的数据集。该基准支持一致的评估，降低研究人员的入门门槛，并推动新型方法（如元学习和自监督学习）的发展，以利用卫星和调查数据提升可持续发展目标的监测能力。

ABSTRACT

Progress toward the United Nations Sustainable Development Goals (SDGs) has been hindered by a lack of data on key environmental and socioeconomic indicators, which historically have come from ground surveys with sparse temporal and spatial coverage. Recent advances in machine learning have made it possible to utilize abundant, frequently-updated, and globally available data, such as from satellites or social media, to provide insights into progress toward SDGs. Despite promising early results, approaches to using such data for SDG measurement thus far have largely evaluated on different datasets or used inconsistent evaluation metrics, making it hard to understand whether performance is improving and where additional research would be most fruitful. Furthermore, processing satellite and ground survey data requires domain knowledge that many in the machine learning community lack. In this paper, we introduce SustainBench, a collection of 15 benchmark tasks across 7 SDGs, including tasks related to economic development, agriculture, health, education, water and sanitation, climate action, and life on land. Datasets for 11 of the 15 tasks are released publicly for the first time. Our goals for SustainBench are to (1) lower the barriers to entry for the machine learning community to contribute to measuring and achieving the SDGs; (2) provide standard benchmarks for evaluating machine learning models on tasks across a variety of SDGs; and (3) encourage the development of novel machine learning methods where improved model performance facilitates progress towards the SDGs.

研究动机与目标

• 解决机器学习在可持续发展目标（SDG）监测中缺乏标准化评估和数据访问的问题。
• 通过提供来自发展经济学和环境科学领域的高质量、领域特定的数据集，降低机器学习研究人员的入门门槛。
• 建立通用的基准框架，以追踪进展并比较不同 SDG 相关任务中的模型性能。
• 鼓励开发针对现实世界 SDG 挑战的新型机器学习方法，如元学习和自监督学习。
• 通过解决地理空间和基于调查的数据集中的数据隐私和偏见风险，确保模型的伦理部署。

提出的方法

• 精心挑选了涵盖 7 项 SDG 的 15 项基准任务，包括贫困预测、土地覆盖分类、作物产量估计和水资源卫生监测。
• 首次公开发布 15 项数据集中的 11 项，提供标准化的训练/验证/测试划分和一致的评估协议。
• 提供基于最先进技术的基线模型，包括在土地覆盖分类任务中使用 MAML 进行元学习。
• 采用多样化数据源：卫星影像（Landsat、Sentinel-1/2、MODIS）、社交媒体、手机记录以及真实调查数据（DHS、LSMS）。
• 应用数据增强和噪声注入技术以保护隐私，特别是在地理位置和影像数据方面。
• 在类别分布高度不平衡的区域使用 Cohen’s kappa 统计量进行评估，以确保在不同社会经济背景下性能评估的公平性。

实验结果

研究问题

• RQ1 如何在数据模态和稀疏性各异的真实世界 SDG 监测任务中，对机器学习模型进行一致的评估？
• RQ2 元学习在撒哈拉以南非洲等低资源地区进行土地覆盖分类时，能在多大程度上提升模型的泛化能力？
• RQ3 在标注数据有限的情况下，自监督学习和多任务学习方法是否能提升 SDG 相关任务的性能？
• RQ4 模型预测中的偏见（如在贫困地区高估财富）如何影响机器学习在发展领域的政策相关应用？
• RQ5 在发布用于 SDG 监测的地理空间和调查数据时，存在哪些隐私风险，又该如何缓解？

主要发现

• 经 MAML 训练的模型在撒哈拉以南非洲地区土地覆盖分类任务上的测试准确率为 0.74，F1 得分为 0.72，Cohen’s kappa 为 0.32，表明元学习在低资源环境中的潜力。
• SustainBench 中的 15 项数据集中有 11 项是首次公开发布，显著提高了 SDG 研究的数据可及性。
• 与准确率或 F1 得分相比，使用 kappa 统计量可提供在类别分布严重不平衡区域更具鲁棒性的评估指标。
• 在贫困预测和作物产量估计任务上的基线模型表现出强劲性能，表明机器学习能够有效利用卫星和手机数据来生成 SDG 指标。
• 隐私保护技术（如地理位置抖动、图像模糊化和数据聚合）成功应用于调查和影像数据，有效保护了个人身份信息。
• 该基准通过提供多样化、真实世界的数据集和标准化的评估协议，支持自监督学习和多模态学习等先进方法论研究。