[论文解读] Positional Encoder Graph Neural Networks for Geographic Data

Konstantin Klemmer, Nathan Safir+1 more|arXiv (Cornell University)|Nov 19, 2021

Geographic Information Systems Studies参考文献 32被引用 6

一句话总结

本文提出 PE-GNN，一种新颖的图神经网络框架，通过为地理坐标学习上下文感知的位置编码，并联合利用打乱后的 Moran’s I 损失预测空间自相关性，从而提升空间预测性能。该方法在纯空间插值任务中表现优于最先进 GNN 模型，并与高斯过程相当，展现出在不同地理尺度下的优越泛化能力和鲁棒性。

ABSTRACT

Graph neural networks (GNNs) provide a powerful and scalable solution for modeling continuous spatial data. However, they often rely on Euclidean distances to construct the input graphs. This assumption can be improbable in many real-world settings, where the spatial structure is more complex and explicitly non-Euclidean (e.g., road networks). Here, we propose PE-GNN, a new framework that incorporates spatial context and correlation explicitly into the models. Building on recent advances in geospatial auxiliary task learning and semantic spatial embeddings, our proposed method (1) learns a context-aware vector encoding of the geographic coordinates and (2) predicts spatial autocorrelation in the data in parallel with the main task. On spatial interpolation and regression tasks, we show the effectiveness of our approach, improving performance over different state-of-the-art GNN approaches. We observe that our approach not only vastly improves over the GNN baselines, but can match Gaussian processes, the most commonly utilized method for spatial interpolation problems.

研究动机与目标

• 为解决 GNN 在建模地理数据中复杂非欧几里得空间结构方面的局限性。
• 通过显式地将空间上下文和相关性编码到基于 GNN 的模型中，提升空间预测性能。
• 开发一种模块化、端到端可训练的框架，将位置编码与 GNN 主干网络集成。
• 通过空间自相关性的辅助学习，缓解 GNN 在空间数据上的过拟合问题。
• 通过动态、批次特定的 k-NN 图构建，实现可泛化的空间表征学习。

提出的方法

• 该框架使用可学习的位置编码器（PE），为地理坐标生成上下文感知的嵌入表示，并通过主回归损失的反向传播进行更新。
• 将 PE 嵌入表示与节点特征拼接后，输入 GNN 主干网络（如 GCN、GAT、GraphSAGE）进行预测。
• 采用新颖的训练策略，在每一步从随机批次的点中构建 k-近邻图，从而实现对不同局部邻域的泛化能力。
• 通过在动态变化的邻居集合上计算的‘打乱’后的 Moran’s I 统计量，联合预测空间自相关性，以降低对尺度的敏感性。
• 利用任务不确定性自动学习辅助损失权重，避免手动调整辅助任务损失的超参数。
• 采用多任务目标，结合主回归损失和辅助 Moran’s I 损失，实现端到端联合训练。

实验结果

研究问题

• RQ1 可学习的位置编码是否能提升 GNN 在地理空间插值和回归任务中的性能？
• RQ2 通过动态 Moran’s I 损失联合预测空间自相关性，是否能增强模型的泛化能力并减少过拟合？
• RQ3 PE-GNN 是否能在纯空间插值任务中达到与高斯过程相当的性能？
• RQ4 动态 k-NN 图构建策略如何影响位置嵌入的泛化能力？
• RQ5 通过任务不确定性实现的自动损失加权，在多大程度上提升了训练稳定性和性能？

主要发现

• PE-GNN 在多个 GNN 主干网络（GCN、GAT、GraphSAGE）上，均显著提升了空间回归与插值任务的性能。
• 在纯空间插值任务中，PE-GNN 的性能与高斯过程相当，后者是空间插值领域的黄金标准。
• 引入 Moran’s I 辅助任务显著减少了过拟合，尤其在 Election 和 California Housing 等数据集上，对于高容量模型效果更明显。
• 在 California Housing 和 3d Road 数据集上，经过 10 次训练周期，模型表现出低方差，表明训练过程稳定且一致。
• 利用任务不确定性实现的自动损失加权，性能与手动调参的 λ 相当，同时消除了超参数调优的需求。
• 该框架在区域、大陆和全球空间尺度上均表现稳健，性能主要取决于任务复杂度和空间依赖结构。