[论文解读] Self-supervised Contrastive Learning for Irrigation Detection in Satellite Imagery

Chitra Agastya, Sirak Ghebremusse+4 more|Deep Blue (University of Michigan)|Aug 11, 2021

Flood Risk Assessment and Management被引用 7

一句话总结

该论文提出 SimCLR-S2，一种用于多光谱卫星影像灌溉检测的自监督对比学习框架，利用未经筛选、无标签的数据。通过在加利福尼亚州的 Sentinel-2 数据上进行预训练，并使用 BigEarthNet-S2 中少量标注数据进行微调，该方法在精度上最高提升 9 倍，召回率提高 90%，在不同地理区域上的泛化能力提升 40%，优于监督基线方法。

ABSTRACT

Climate change has caused reductions in river runoffs and aquifer recharge resulting in an increasingly unsustainable crop water demand from reduced freshwater availability. Achieving food security while deploying water in a sustainable manner will continue to be a major challenge necessitating careful monitoring and tracking of agricultural water usage. Historically, monitoring water usage has been a slow and expensive manual process with many imperfections and abuses. Ma-chine learning and remote sensing developments have increased the ability to automatically monitor irrigation patterns, but existing techniques often require curated and labelled irrigation data, which are expensive and time consuming to obtain and may not exist for impactful areas such as developing countries. In this paper, we explore an end-to-end real world application of irrigation detection with uncurated and unlabeled satellite imagery. We apply state-of-the-art self-supervised deep learning techniques to optical remote sensing data, and find that we are able to detect irrigation with up to nine times better precision, 90% better recall and 40% more generalization ability than the traditional supervised learning methods.

研究动机与目标

• 解决发展中国家灌溉标注数据有限的问题，因为人工标注成本高且稀疏。
• 通过利用无标签卫星影像的自监督预训练，实现在无现有标注数据集区域的准确灌溉检测。
• 评估在某一地理区域（加利福尼亚州）预训练的模型是否能通过极少微调有效泛化到全球不同地区（如巴西、印度、越南）。
• 证明当标注数据稀缺时，对比自监督学习优于传统监督学习。
• 开发一种可扩展、低资源的全球灌溉监测解决方案，利用高分辨率多光谱卫星数据。

提出的方法

• 使用 SimCLR 框架在加利福尼亚州中央谷地的无标签 Sentinel-2 地表反射率图像上预训练深度神经网络，使用包括红外在内的 10 个光谱波段以获得对湿度敏感的表征。
• 应用数据增强（如裁剪、颜色抖动、翻转）生成对比学习的正样本对，通过优化 SimCLR 对比损失最大化增强视图之间的一致性。
• 在 BigEarthNet-S2 中公开可用的少量标注数据上微调预训练模型，该数据集包含来自 10 个欧洲国家的 13,589 个灌溉农田样本。
• 使用微调后的模型在新地理区域的无标签卫星图像上预测灌溉状态，包括巴西、印度、印度尼西亚、突尼斯和越南。
• 使用来自 croplands.org 的众包地面真值数据评估性能，通过 Amazon Mechanical Turk 进行视觉验证。
• 与从零开始训练或使用 ImageNet 权重的监督基线进行比较，使用不同比例的标注数据（BigEarthNet-S2 的 1% 到 100%）。

实验结果

研究问题

• RQ1 与标注数据有限的监督学习相比，无标签卫星影像上的自监督对比学习是否能在灌溉检测性能上表现更优？
• RQ2 在某一地理区域（加利福尼亚州）的卫星数据上预训练的模型是否能有效泛化到全球不同农业区域（如印度、巴西、越南）？
• RQ3 当仅使用总标注数据的 0.033% 时，自监督模型的精确率和召回率与监督基线相比如何？
• RQ4 与基于标准 RGB 的模型相比，使用 Sentinel-2 的全部 10 个光谱波段在灌溉检测方面能带来多大提升？
• RQ5 SimCLR-S2 框架是否能有效应用于真实世界、未经筛选的卫星数据，且仅需极少人工标注监督？

主要发现

• 当仅使用 190 个标注样本（BigEarthNet-S2 的 1%）时，SimCLR-S2 模型在未见过的加利福尼亚州数据上达到 100% 精确率，而监督基线仅为 11%。
• 当使用 19,024 个标注样本（BigEarthNet-S2 的 100%）时，SimCLR-S2 仍保持 100% 精确率，而监督基线精确率仅为 47%。
• 在全球六个不同国家的测试数据上，SimCLR-S2 达到 0.82 的中位召回率，在其中四个地区（包括印度和越南）优于监督基线，分别达到 90% 召回率。
• 在六个测试地理区域的平均表现中，SimCLR-S2 的召回率比监督基线高出 90%，其中印度尼西亚为 76%，突尼斯为 78%。
• SimCLR-S2 模型的泛化能力显著优于监督模型，在缅甸和印度尼西亚等地区，监督基线的召回率为 0%。
• 即使仅使用总标注数据的 0.033%（190 个样本），SimCLR-S2 仍达到 99% 精确率和 75% 召回率，证明其在极小监督下的强大性能。