[论文解读] Unsupervised Change Detection of Extreme Events Using ML On-Board

Vít Růžička, Anna Vaughan+6 more|arXiv (Cornell University)|Nov 4, 2021

Anomaly Detection Techniques and Applications被引用 3

一句话总结

本文提出 RaVÆn，一种轻量级、无监督的变更检测方法，利用变分自编码器（VAEs）实现星上卫星处理。通过计算连续图像过 pass 之间潜在空间距离的异常分数，RaVÆn 在无需训练数据的情况下检测变更，在洪水、飓风、野火和滑坡等事件上优于像素级基线方法，并在资源受限的硬件上展示了可行性。

ABSTRACT

In this paper, we introduce RaVAEn, a lightweight, unsupervised approach for change detection in satellite data based on Variational Auto-Encoders (VAEs) with the specific purpose of on-board deployment. Applications such as disaster management enormously benefit from the rapid availability of satellite observations. Traditionally, data analysis is performed on the ground after all data is transferred - downlinked - to a ground station. Constraint on the downlink capabilities therefore affects any downstream application. In contrast, RaVAEn pre-processes the sampled data directly on the satellite and flags changed areas to prioritise for downlink, shortening the response time. We verified the efficacy of our system on a dataset composed of time series of catastrophic events - which we plan to release alongside this publication - demonstrating that RaVAEn outperforms pixel-wise baselines. Finally we tested our approach on resource-limited hardware for assessing computational and memory limitations.

研究动机与目标

• 通过将处理从地面站转移到星上系统，实现实时、低延迟的卫星图像变更检测。
• 克服监督方法的局限性，后者需要为特定事件类型提供标注数据，且无法泛化到未见过的事件。
• 开发一种轻量级、无监督模型，适用于地球观测卫星中资源受限的星上硬件部署。
• 在包含洪水、飓风、野火和滑坡的新型极端事件数据集上评估该方法，使用精确的变更掩码。
• 在如 Xilinx Pynq 平台等受限硬件上展示模型的可行性和性能。

提出的方法

• RaVÆn 使用变分自编码器（VAE）学习卫星图像序列的紧凑、解耦潜在表征。
• 通过测量连续图像过 pass 之间潜在空间中的距离进行变更检测，使用余弦、欧几里得或 KL 散度等度量。
• 模型使用 k 幅图像的时间窗口计算异常分数，即使在不了解事件类型的情况下也能检测变更。
• 该方法避免依赖重建误差，转而使用跨过 pass 的潜在差异来识别显著变更。
• 构建并发布了用于四种灾害类型的 Sentinel-2 时间序列的新数据集，用于评估。
• 在高性能和受限硬件（Xilinx Pynq）上评估系统，以评估计算和内存效率。

实验结果

研究问题

• RQ1 无监督 VAE 方法是否能在无需特定事件标注训练数据的情况下检测卫星图像中的变更？
• RQ2 RaVÆn 在多种灾害类型下与经典像素级变更检测基线相比表现如何？
• RQ3 使用更长的时间历史（k > 1）对变更检测准确率有何影响？
• RQ4 RaVÆn 是否能高效部署在遥感平台中使用的资源受限星上硬件上？
• RQ5 在无监督变更检测中，潜在空间距离度量是否优于重建误差或其他距离度量？

主要发现

• RaVÆn 在所有灾害类型上均优于像素级基线方法，在使用余弦嵌入距离时，野火的精确率-召回率曲线下面积（AUPRC）达到 0.833 ± 0.008，飓风达到 0.676 ± 0.014。
• VAE 嵌入空间中的余弦距离度量表现最佳，在所有事件类型中均优于欧几里得和 KL 散度度量。
• 将时间窗口从 k=1 扩展到 k=3，使滑坡的 AUPRC 提升 15.8%（从 0.599 提升至 0.759），野火提升 8.0%（从 0.833 提升至 0.913），表明时间上下文具有显著优势。
• 该方法在 Xilinx Pynq 平台上展示了可行性，证实其在计算和内存受限条件下的星上部署适用性。
• KL 散度始终表现欠佳，滑坡的 AUPRC 仅达 0.258，表明在此情境下其可靠性低于距离度量。
• 该模型成功检测到细微变更，如小型淹没沟渠和烧伤痕迹，在定性比较中空间保真度高于余弦基线。