[论文解读] SXL: Spatially explicit learning of geographic processes with auxiliary tasks

Konstantin Klemmer, Daniel B. Neill|arXiv (Cornell University)|Jun 18, 2020

Spatial and Panel Data Analysis参考文献 34被引用 7

一句话总结

SXL 引入了一种空间显式深度学习框架，通过将局部莫兰指数（local Moran's I）作为辅助任务，提升地理空间建模性能。通过在多个分辨率下利用空间自相关性，SXL 在多种地理空间任务中均提升了预测与生成性能，优于领域特定基准和标准模型。

ABSTRACT

From earth system sciences to climate modeling and ecology, many of the greatest empirical modeling challenges are geographic in nature. As these processes are characterized by spatial dynamics, we can exploit their autoregressive nature to inform learning algorithms. We introduce SXL, a method for learning with geospatial data using explicitly spatial auxiliary tasks. We embed the local Moran's I, a well-established measure of local spatial autocorrelation, into the training process, nudging the model to learn the direction and magnitude of local autoregressive effects in parallel with the primary task. Further, we propose an expansion of Moran's I to multiple resolutions to capture effects at different spatial granularities and over varying distance scales. We show the superiority of this method for training deep neural networks using experiments with real-world geospatial data in both generative and predictive modeling tasks. Our approach can be used with arbitrary network architectures and, in our experiments, consistently improves their performance. We also outperform appropriate, domain-specific interpolation benchmarks. Our work highlights how integrating the geographic information sciences and spatial statistics into machine learning models can address the specific challenges of spatial data.

研究动机与目标

• 解决使用深度学习建模具有复杂空间动态特征的地理过程的挑战。
• 通过显式整合空间结构，提升神经网络在地理空间数据上的泛化能力与性能。
• 开发一种方法，以捕捉在多种空间粒度与距离尺度下的局部空间自相关性。
• 将地理信息科学与空间统计学原理整合进深度学习架构中。
• 在真实地理空间数据集上，超越现有插值与建模基准。

提出的方法

• 提出 SXL，一种深度学习框架，将局部莫兰指数（local Moran's I）作为辅助训练目标，引导特征学习朝向空间自回归模式。
• 将莫兰指数（Moran's I）适配至多分辨率空间，使模型能够学习在不同尺度下的空间依赖性。
• 利用莫兰指数（Moran's I）的空间结构对表征学习进行正则化，促使模型捕捉局部空间效应的方向与大小。
• 可与任意神经网络架构结合使用，具备模块化特性，广泛适用于回归与生成任务。
• 采用端到端训练方式，结合主任务（如预测或生成）与基于莫兰指数（Moran's I）的空间辅助任务的多任务目标。
• 采用可微分的莫兰指数（Moran's I）形式，支持反向传播与多任务的联合优化。

实验结果

研究问题

• RQ1 通过莫兰指数（Moran's I）整合空间自相关性，能否提升地理空间数据上深度学习的性能？
• RQ2 多分辨率空间监督如何影响地理过程建模中的模型泛化能力？
• RQ3 SXL 是否在真实地理空间任务中优于领域特定的插值方法与标准深度学习基线模型？
• RQ4 辅助空间任务在多大程度上能增强深度神经网络在空间数据上的表征学习能力？
• RQ5 该方法是否可推广至不同网络架构与建模目标？

主要发现

• 与基线模型相比，SXL 在多种地理空间任务中（包括预测与生成建模）均表现出一致的性能提升。
• 该方法在真实地理空间数据集上优于已建立的领域特定插值基准。
• 引入多分辨率莫兰指数（Moran's I）能更有效地捕捉在不同距离尺度下的空间依赖性。
• 辅助空间任务显著提升了模型的泛化能力，尤其在数据量较少的场景下表现更优。
• 该方法与网络架构无关，无需修改网络结构，可适用于任意深度学习模型。
• 将空间统计学整合进深度学习，提升了模型学习有意义空间表征的能力。